Discussion :

[E-Sh4rk]

Bonjour,
Je viens de terminer la lecture du tutoriel de Alp sur les réseaux de neurones. Tout est clair et bien expliqué, mais dans la présentation de l'algorithme de Widrow Hoff, je ne vois rien qui modifie les seuils des neurones.

En effet, les poids sont bien tous adaptés selon la sortie attendue, mais apparemment les seuils non. Pourtant, je suis sûr que les seuils des neurones doivent évoluer d'après d'autres sources.

Ai-je mal compris quelque chose ? Comment faire évoluer les seuils des neurones ?

[Clercq]

Bonjour,

Un réseau de neurones apprend en modifiant ce que l'on peut rapproché à des poids synaptiques. Pour modifier ces poids on passe par une fonction (sigmoïde ...) qui à un seuil. Si tu modifie le seuil (je ne vois pas trop comment mais admettons) ça voudrais dire que tout les poids ne sont pas "assigné"/"mis à jour" de la même façon ...

En conclusion, seul les poids change, pas le seuil qui est propre à la fonction d'activation.

[E-Sh4rk]

J'ai du mal m'exprimer en fait
Pour seuil, j'entendais la valeur du biais, soit w_0, qui est retranchée de la somme pondérée des entrées. Dans un perceptron, comment évoluent ces valeurs ?

[EDIT] Peut-on considérer le coefficient de biais comme un poids synaptique quelconque attaché à la valeur d'entrée -1 et qui apprend avec l'algorithme de retropropagation du gradient ?

[Clercq]

w_0 est bien un poids, il pondère la n+1ème dimension de tes données.

Dans un cas relativement simple, le cas linéaire, sans ce poid on aurait :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

y = a*x

Soit une droite qui passerait toujours par l'origine ... Le poids w_0 correspond à b dans

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

y = a*x + b

soit

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

y = w_1*x + w_0

Qui est une simple équation de droite ... ou d'hyper-plan dans le cas unidimensionnel.

En généralisant :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
y_pred = x^1*w_1+ ... + x^n*w_n + x^0*w_0
y_pred = x^1*w_1+ ... + x^n*w_n + 1*w_0

Ce 1 provient d'une colonne que tu rajoute à tes data, permettant ce biais qui évite le passage forcé à l'origine.