Discussion :

[soujava]

Salut,

J'ai quelques questions à propos des réseaux de neurones :

1- quel est le rôle du seuil? je voies aucun algorithme d'apprentissage qui le manipule ! A quoi il sert ?

2- quelle est la différence entre un modèle de réseaux de neurones avec seuil, et un modèle avec entrée supplémentaire ?

3- pourquoi on peut pas modéliser le XOR avec un perception mono couche ?

Merci d'avance !

[Alp]

salut,

j'ai quelques questions à propos des réseaux de neurones:

1- quel est le rôle du seuil? je voies aucun algorithme d'apprentissage qui le manipule! à quoi il sert??

2- quelle est la différence entre un modèle de réseaux de neurones avec seuil, et un modèle avec entrée supplémentaire?

3- pourquoi on peut pas modéliser le XOR avec un perception mono couche?

merci d'avance

Salut,

As-tu lu http://alp.developpez.com/tutoriels/...x-de-neurones/ ?

1/ Effectivement, le seuil d'un neurone n'est pas modifié lors d'apprentissages basés sur la delta rule. Les poids du neurone en question par contre s'ajusteront notamment en fonction de son seuil.

2/ Je pense que tu confonds. Il arrive de voir des réseaux de neurones modélisés avec des poids et le seuil à côté, tandis que d'autres personnes les modélisent en mettant le seuil avec les poids, et dont l'entrée correspondante est toujours -1.

3/ Cf l'article. Un neurone tout seul, c'est un séparateur linéaire. Tu prends une feuille, tu fais pleins de points, avec 2 couleurs. Si tous les points de la première couleur sont regroupés d'un côté de la feuille, et ceux de la deuxième couleur de l'autre, alors tu peux trouver un neurone qui pourra te dire si un point donné est de la première couleur ou de la seconde. Or, avec XOR, par définition, on a :
0 xor 0 = 0
1 xor 0 = 1
0 xor 1 = 1
1 xor 1 = 0

Avec notre analogie de la feuille et des points en couleur, ça nous donne par exemple, dans le plan :
(0, 0) en bleu
(1, 0) en rouge
(0, 1) en rouge
(1, 1) en bleu

Si tu places ces points dans un repère, tu verras que tu peux tourner la feuille dans tous les sens, tu n'arriveras pas à tracer de droite sur ta feuille qui met d'un côté les points bleus, de l'autre les points rouges. C'est pour ça qu'on va devoir rajouter une couche, L'idée, c'est que 2 dimensions ne suffisent pas. Il faut aller dans un espace de dimension supérieure pour pouvoir séparer tranquillement nos points.

[soujava]

merci de m'avoir répondu.

pour la question du XOR, j'ai lu dans une thèse la phrase suivante:

" un perception a besoin d'un algorithme d'apprentissage qui produit des solutions robustes pour des échantillons linéairement séparables et des solutions approximatives pour des échantillons non linéairement séparables"

d'après ça j'ai déduis qu'un perception peut résoudre n'importe quel problème approximativement, non?


pour la question du seuil: j'ai vraiment pas compris son rôle, comme par exemple dans le problème du ou logique on le prends égal à 0,5, pourquoi? le choix de sa valeur se fait sur quelle base?

merci encore une fois

bien à toi

[Alp]

d'après ça j'ai déduis qu'un perception peut résoudre n'importe quel problème approximativement, non?

Non. Demande lui de résoudre le problème P=NP, où de prouver la conjecture de Riemann
En revanche, on peut approcher une énorme quantité de fonctions. Je te conseille pour en savoir plus de consulter page wikipedia (en anglais) sur le Théorème de Cybenko, mais surtout l'article qui est référencé à la fin de cette page.

pour la question du seuil: j'ai vraiment pas compris son rôle, comme par exemple dans le problème du ou logique on le prends égal à 0,5, pourquoi? le choix de sa valeur se fait sur quelle base?

Il faut que ça concorde vis à vis du choix de la fonction ainsi que des valeurs données + attendues qui sont dans l'ensemble d'apprentissage.

Dans tous les cas, je te conseille d'investir dans un ouvrage sur le sujet, j'ai écrit un article dessus pour dépanner mais c'est plus une introduction rapide qu'autre chose...

[Invité]

" un perception a besoin d'un algorithme d'apprentissage qui produit des solutions robustes pour des échantillons linéairement séparables et des solutions approximatives pour des échantillons non linéairement séparables"

d'après ça j'ai déduis qu'un perception peut résoudre n'importe quel problème approximativement, non?

Oui, en fait on peut montrer que les conditions dans lesquelles un réseau de type perceptron converge vers la solution du problème sont très générales. Ce sont en fait celles dans lesquels un algorithme de gradient stochastique converge.

Une théorie assez générale et ancienne se trouve chez Tsypkin (Foundations of Machine Learning). Pour une explication très précise (et les maths qui vont avec) qui couvre le perceptron et les réseaux multicouches, et les conditions de leur convergence, faut lire ça
http://leon.bottou.org/papers/bottou-91a

Ensuite la théorie moderne, c'est chez Vapnik (Estimation of Dependences Based on Empirical Data, et Statistical Learning Theory).

Maintenant, la vraie question, comme toujours en stats, c'est moins de savoir si on peut résoudre approximativement le problème (la réponse est souvent oui), mais si on peut obtenir en un temps raisonnable une réponse de précision convenable...

pour la question du seuil: j'ai vraiment pas compris son rôle, comme par exemple dans le problème du ou logique on le prends égal à 0,5, pourquoi? le choix de sa valeur se fait sur quelle base?

En général, la fonction utilisée (les fameuses sigmoides) prend ses valeurs entre 0 et 1 et possède une symétrie "centrale" autour du point (0,1/2), prendre la valeur en ce point de symétrie est assez logique. Par ailleurs, un seuil à 1/2 permet de faire qu'"en moyenne" la proportion de 0 et de 1 dans le réseau ne change pas. Si tu prenais un seuil plus faible, le réseau renverrait plus de valeurs 1 que de 0, si tu le prenais plus élevé, il renverrait plus de 0.

C'est pour cela qu'on parle également de "biais" pour le seuil.

Changer le seuil n'a pas forcément beaucoup d'intérêt : on obtient un effet similaire en jouant sur les poids, en fait. On pourrait aussi le faire en variant les fonctions des neurones, mais l'idée des réseaux de neurones, c'est d'avoir un réseau constitué de composants tous simples et identiques, et de jouer uniquement sur les connexions.

Francois

[soujava]

Merci à toi François

j'ai vraiment compris le principe du choix du seuil

cordialement