Bases des réseaux de neurones

📋 Plan du Cours

1. Unités logiques à seuil
2. Perceptron et séparation linéaire
3. De l’analyse discriminante à la régression
4. Dérivées et gradient
5. Descente de gradient stochastique
6. Couches et perceptron multicouche
7. Différentiation automatique et rétropropagation

📖 1. Unités logiques à seuil

★ À maîtriser

📐 Formule — Une unité logique à seuil calcule $f(x)=\mathbf{1}\left\{\sum_i w_i x_i+b\geq 0\right\}$, où les poids pondèrent les entrées et le biais fixe le seuil. — McCulloch and Pitts, 1943

📐 Formule — Les portes logiques s’obtiennent par vote pondéré et seuillage : $\operatorname{or}(x_1,x_2)=\mathbf{1}\{x_1+x_2-0.5\geq0\}$, $\operatorname{and}(x_1,x_2)=\mathbf{1}\{x_1+x_2-1.5\geq0\}$ et $\operatorname{not}(x_1)=\mathbf{1}\{-x_1+0.5\geq0\}$.

📌 Une fonction booléenne linéairement séparable peut être réalisée par une seule TLU, tandis que XOR ne peut pas l’être. — Minsky and Papert, 1969

Compléments

• La composition de deux unités cachées et d’une unité de sortie suffit à calculer XOR, et la composition de TLU permet de construire toute fonction booléenne.

💡 Astuce mémo