Qu'est-ce qu'Autograd selon Paszke et al., 2017 ?
Autograd construit dynamiquement le graphe des opérations tensorielles pour calculer automatiquement les gradients.
Que fait Tensor.backward() dans PyTorch ?
Il calcule les gradients et les accumule dans le champ grad des tenseurs feuilles.
Qu'est-ce qu'un perceptron multicouche ?
Une cascade de transformations affines suivies de fonctions d’activation.
Quelle formule calcule chaque couche dans un MLP ?
.
Autograd en PyTorch
Built le graphe de calcul pour gradients automatiques.
Tensor.requires_grad
Déclenchement du suivi des opérations pour gradients.
Perceptron multicouche
Cascade de couches affines + fonctions d’activation.
Fonction ReLU
Représente max(0,x), activation non linéaire.
Disparition des gradients
Gradients deviennent très petits, freinant apprentissage.
Formule sigmoïde
σ′(x)=σ(x)(1−σ(x)), bornée entre 0 et 1/4.
Graphe de calcul dynamique
Construite lors des opérations pour gradients.
Teste tes connaissances avec un QCM de 11 questions sur MLP, gradients et fonctions de perte.
1. Quel mécanisme décrit le mieux le fonctionnement d’Autograd lors du calcul des dérivées de tenseurs ?
2. Un tenseur intervient dans une opération avec un autre tenseur dont . Quelle valeur prend le champ du résultat de cette opération ?
Révisez le cours complet dans la fiche de révision de MLP, gradients et fonctions de perte.
Voir la fiche →Importe ton cours et l'IA génère des flashcards en 30 secondes.
Générateur de flashcards