Fiche de révision : Introduction à la programmation

📌 L'essentiel

• La propagation avant calcule la sortie du réseau à partir des entrées.
• La rétropropagation ajuste les poids via le gradient descent pour minimiser l'erreur.
• La fonction de coût mesure l'écart entre la sortie et la vérité terrain.
• La méthode d'apprentissage consiste à optimiser la fonction de coût en ajustant les poids.
• La normalisation des entrées et la régularisation évitent le surapprentissage.
• La règle de la chaîne permet de calculer efficacement les gradients lors de la rétropropagation.
• La convergence dépend du taux d'apprentissage et de la structure du réseau.
• La validation permet de détecter le surapprentissage.
• utilisées souvent : jeux de données distincts pour entraînement, validation, test.
• Éviter les erreurs courantes, notamment confondre propagation avant et rétropropagation.

📖 Concepts clés

Réseau de neurones : Modèle computationnel inspiré du cerveau, composé de plusieurs couches de neurones artificiels permettant de modéliser des fonctions complexes.

Propagation avant (forward propagation) : Processus de calcul des sorties du réseau en passant par chaque couche, en utilisant les poids et fonctions d'activation.

Rétropropagation (backpropagation) : Algorithme pour ajuster les poids en calculant les gradients de la fonction de coût en remontant la structure du réseau.

Fonction d'activation : Fonction non linéaire appliquée aux neurones pour permettre la modélisation de relations complexes (ex : ReLU, sigmoïde).

Fonction de coût : Fonction qui quantifie l'erreur entre la sortie du réseau et la réponse souhaitée.

Gradient descent : Méthode d'optimisation pour minimiser la fonction de coût en suivant la direction du gradient.

Overfitting (surapprentissage) : Phénomène où le modèle s'adapte trop précisément aux données d'entraînement, perdant sa capacité à généraliser.

Régularisation : Techniques pour limiter la complexité du modèle et éviter le surapprentissage, comme la régularisation L2.

Epoch : Une passe complète sur tout le jeu de données d'entraînement.

Batch : Sous-ensemble des données utilisé pour effectuer une mise à jour lors de la descente de gradient.

📐 Formules et lois

Propagation avant :
$z^{(l)} = W^{(l)} a^{(l-1)} + b^{(l)}$
$a^{(l)} = \sigma(z^{(l)})$

Fonction de coût (pour régression) :
$J(\theta) = \frac{1}{2m} \sum_{i=1}^m (h_\theta(x^{(i)}) - y^{(i)})^2$

Mise à jour des poids (gradient descent) :
$\theta := \theta - \eta \frac{\partial J(\theta)}{\partial \theta}$

Règle de la rétropropagation : dérive du coût par rapport aux poids, en utilisant la règle de la chaîne pour remonter couche par couche les gradients.

🔍 Méthodes

1. Initialiser aléatoirement les poids.
2. Propagation avant pour obtenir la sortie.
3. Calculer la fonction de coût.
4. Calculer l'erreur à la sortie (dérivées).
5. Propagation arrière pour obtenir le gradient des poids.
6. Mettre à jour les poids avec la règle de gradient descent.
7. Répéter jusqu’à la convergence ou un nombre fixe d’itérations.

💡 Exemples

• Classification binaire avec 2 couches, utilisant la fonction sigmoïde, pour distinguer deux classes.
• Régression pour prédire des valeurs continues à partir d’un jeu synthétique.
• Application de la régularisation L2 pour éviter la suradaptation en entraînement complexe.

⚠️ Pièges

• Confondre propagation avant et rétropropagation.
• Négliger la normalisation des entrées, ralentissant la convergence.
• Choisir un taux d’apprentissage mal adapté (trop élevé ou trop faible).
• Oublier de vérifier la convergence ou la stabilité.
• Surapprentissage lorsqu’on n’utilise pas de validation ou de régularisation.

📊 Synthèse comparative

✅ Checklist examen

• Comprendre le processus de propagation avant et sa formule.
• Maîtriser la règle de la rétropropagation via la chaîne de dérivées.
• Savoir définir et calculer la fonction de coût.
• Être capable d’appliquer la descente de gradient pour la mise à jour des poids.
• Identifier les techniques pour éviter le surapprentissage (régularisation, validation).
• Connaître les principales fonctions d’activation.
• Savoir analyser un problème de classification ou de régression et choisir l’architecture.

❤️ Synthèse rapide

• La vidéo explique le fonctionnement des réseaux de neurones, en insistant sur la rétropropagation et l’apprentissage supervisé.
• La propagation avant est utilisée pour obtenir la sortie ; la rétropropagation ajuste les poids via la descente de gradient en minimisant la fonction de coût.
• La gestion efficace des gradients repose sur la règle de la chaîne.
• La normalisation des entrées et la régularisation sont indispensables pour une généralisation fiable.
• La convergence dépend des paramètres d’optimisation, comme le taux d’apprentissage et la structure du réseau.