MLP, gradients et fonctions de perte

📋 Plan du Cours

1. Autograd et graphes de calcul
2. MLP et fonctions d’activation
3. Disparition des gradients
4. Approximation universelle et limites
5. Activations de sortie et pertes
6. Softmax et entropie croisée
7. Paramètres et profondeur des réseaux
8. Modules PyTorch et entraînement

📖 1. Autograd et graphes de calcul

🔑 Notions clés & Définitions

• Autograd : Paszke et al., Automatic differentiation in pytorch, 2017 — Autograd construit dynamiquement le graphe des opérations tensorielles afin de calculer automatiquement les gradients par rapport aux tenseurs impliqués.

★ À maîtriser

📌 Un tenseur ne construit le graphe nécessaire aux gradients que si son champ requires_grad vaut True, et le résultat d’une opération possède ce champ à True dès qu’un de ses opérandes le possède.

• Tensor.backward() calcule les gradients et les accumule dans le champ grad des tenseurs feuilles du graphe.

Compléments

📌 Seuls les tenseurs de type flottant peuvent demander le calcul de gradients dans PyTorch.