Flashcards : Bases des réseaux de neurones — 40 cartes

Toutes les cartes

1Question

Quelle formule calcule une unité logique à seuil ?

Réponse

f(x)=1{∑iwixi+b≥0}f(x)=\mathbf{1}\left\{\sum_i w_i x_i+b\geq 0\right\}.

2Question

Qui a introduit l'unité logique à seuil en 1943 ?

Réponse

McCulloch et Pitts en 1943.

3Question

Comment s'exprime la porte logique OR par vote pondéré ?

Réponse

or⁡(x1,x2)=1{x1+x2−0.5≥0}\operatorname{or}(x_1,x_2)=\mathbf{1}\{x_1+x_2-0.5\geq0\}.

4Question

Comment s'exprime la porte logique AND par vote pondéré ?

Réponse

and⁡(x1,x2)=1{x1+x2−1.5≥0}\operatorname{and}(x_1,x_2)=\mathbf{1}\{x_1+x_2-1.5\geq0\}.

5Question

Comment s'exprime la porte logique NOT par vote pondéré ?

Réponse

not⁡(x1)=1{−x1+0.5≥0}\operatorname{not}(x_1)=\mathbf{1}\{-x_1+0.5\geq0\}.

6Question

Quelle fonction booléenne ne peut pas être réalisée par une seule TLU ?

Réponse

La fonction XOR ne peut pas être réalisée par une seule TLU.

7Question

Quelle condition permet de réaliser une fonction booléenne par une seule TLU ?

Réponse

La fonction doit être linéairement séparable.

8Question

Quelle composition suffit pour calculer XOR avec des TLU ?

Réponse

Deux unités cachées et une unité de sortie suffisent.

9Question

Qu'est-ce qu'un perceptron selon Rosenblatt en 1957 ?

Réponse

Une unité à seuil avec entrées réelles et poids appris des données.

10Question

Quelle est la règle de classification du perceptron ?

Réponse

f(x)=sign⁡(wTx+b)f(x)=\operatorname{sign}(w^Tx+b).

11Question

Que vaut sign⁡(z)\operatorname{sign}(z) dans la règle du perceptron si z≥0z \geq 0 ?

Réponse

sign⁡(z)=1\operatorname{sign}(z) = 1.

12Question

Que vaut sign⁡(z)\operatorname{sign}(z) dans la règle du perceptron si z<0z < 0 ?

Réponse

sign⁡(z)=0\operatorname{sign}(z) = 0.

13Question

Comment un classifieur linéaire sépare-t-il l'espace des entrées ?

Réponse

Par l'hyperplan wTx+b=0w^Tx+b=0.

14Question

Qu'impose l'analyse discriminante linéaire sur les populations de classes ?

Réponse

Elles sont gaussiennes et partagent une même matrice de covariance.

15Question

Quelle est la formule de la fonction sigmoïde ?

Réponse

σ(x)=11+exp⁡(−x)\sigma(x)=\frac{1}{1+\exp(-x)}

16Question

Que transforme la fonction sigmoïde dans la régression ?

Réponse

Le score linéaire en probabilité.

17Question

Comment s'écrit la probabilité postérieure sous l'analyse discriminante linéaire ?

Réponse

P(Y=1∣x)=σ(wTx+b)P(Y=1\mid x)=\sigma(w^Tx+b)

18Question

Quelle fonction la régression logistique maximise-t-elle ?

Réponse

La vraisemblance.

19Question

Quelle perte la régression logistique minimise-t-elle ?

Réponse

La perte d'entropie croisée.

20Question

Quelle est la formule de la perte d'entropie croisée en régression logistique ?

Réponse

L(w,b)=∑i[−yilog⁡σ(wTxi+b)−(1−yi)log⁡(1−σ(wTxi+b))]L(w,b)=\sum_i[-y_i\log\sigma(w^Tx_i+b)-(1-y_i)\log(1-\sigma(w^Tx_i+b))]

21Question

Qu'est-ce que le gradient d'une fonction multivariée ?

Réponse

C'est le vecteur des dérivées partielles par rapport aux variables d'entrée.

22Question

Comment est définie la dérivée d'une fonction ?

Réponse

Par la limite f′(x)=lim⁡Δ→0f(x+Δ)−f(x)Δf'(x)=\lim_{\Delta\to0}\frac{f(x+\Delta)-f(x)}{\Delta}.

23Question

Quelle est la formule de la règle de chaîne pour une fonction composée simple ?

Réponse

df(g(x))dx=dfdgdgdx\frac{d f(g(x))}{dx}=\frac{df}{dg}\frac{dg}{dx}.

24Question

Quelle formule exprime la dérivée d'une fonction avec plusieurs fonctions intermédiaires ?

Réponse

dfdx=∑i∂f∂gi∂gi∂x\frac{df}{dx}=\sum_i\frac{\partial f}{\partial g_i}\frac{\partial g_i}{\partial x}.

25Question

Que montre le gradient d'une fonction scalaire ?

Réponse

La direction de la plus forte croissance locale.

26Question

Quelle est la formule de mise à jour des paramètres en descente de gradient ?

Réponse

θt+1=θt−γ∇θL(θt)\theta_{t+1}=\theta_t-\gamma\nabla_\theta L(\theta_t)

27Question

Quels facteurs sont critiques pour la convergence de la descente de gradient ?

Réponse

Le taux d’apprentissage et l’initialisation des paramètres.

28Question

Comment s'exprime le gradient du risque empirique en descente de gradient par lots ?

Réponse

∇L(θ)=1N∑i∇ℓ(yi,f(xi;θ))\nabla L(\theta)=\frac{1}{N}\sum_i\nabla\ell(y_i,f(x_i;\theta))

29Question

Quelle est la formule de mise à jour en descente de gradient stochastique ?

Réponse

θt+1=θt−γ∇ℓ(yi(t+1),f(xi(t+1);θt))\theta_{t+1}=\theta_t-\gamma\nabla\ell(y_{i(t+1)},f(x_{i(t+1)};\theta_t))

30Question

Que garantit un estimateur de gradient stochastique non biaisé selon Bottou, 2011 ?

Réponse

Sa moyenne coïncide avec le gradient du risque empirique et la convergence peut être établie.

31Question

Quelle référence étudie la convergence de la descente de gradient stochastique avec un estimateur non biaisé ?

Réponse

Bottou, 2011.

32Question

Quelle formule calcule une couche entièrement connectée ?

Réponse

h=σ(Wx+b)h=\sigma(Wx+b) calcule une couche entièrement connectée.

33Question

Qu'est-ce qu'un perceptron multicouche ?

Réponse

Un réseau entièrement connecté à propagation avant avec couches affines et activations.

34Question

Que produit la dernière couche en classification binaire ?

Réponse

Une sortie sigmoïde représentant P(Y=1∣x)P(Y=1\mid x).

35Question

Comment est définie la fonction softmax pour CC classes ?

Réponse

Par Softmax⁡(z)i=exp⁡(zi)∑j=1Cexp⁡(zj)\operatorname{Softmax}(z)_i=\frac{\exp(z_i)}{\sum_{j=1}^{C}\exp(z_j)}.

36Question

Que peut-on faire de l'activation finale en régression ?

Réponse

Elle peut être supprimée pour produire des sorties non bornées.

37Question

Que calcule la différentiation automatique dans un modèle ?

Réponse

Les dérivées de la perte par rapport à tous les paramètres.

38Question

Quelle formule exprime la règle de chaîne pour une composition scalaire ?

Réponse

dydx=∑k=1m∂y∂uk∂uk∂x\frac{dy}{dx}=\sum_{k=1}^{m}\frac{\partial y}{\partial u_k}\frac{\partial u_k}{\partial x}.

39Question

Qu'est-ce que la rétropropagation dans un réseau neuronal ?

Réponse

L’application récursive de la règle de chaîne vers l’arrière sur le graphe computationnel.

40Question

Que réutilisent les dérivées calculées par rétropropagation ?

Réponse

Les valeurs intermédiaires calculées pendant la propagation avant.

Teste-toi avec le QCM

Teste tes connaissances avec un QCM de 22 questions sur Bases des réseaux de neurones.

1. Quel calcul une unité logique à seuil applique-t-elle à ses entrées ?

2. Quelle expression réalise une porte AND avec une unité logique à seuil pour des entrées binaires ?

Faire le QCM →

Consultez la fiche

Révisez le cours complet dans la fiche de révision de Bases des réseaux de neurones.

Voir la fiche →

Cours similaires

Sensibilisation à l’intelligence artificielle

Intelligence Artificielle

Flot d’exécution en Python

Programmation

MLP, gradients et fonctions de perte

Intelligence Artificielle

Réseaux et infrastructures informatiques

Réseaux

Créer un réseau de données

Périphériques et système d’exploitation

Crée tes propres flashcards

Importe ton cours et l'IA génère des flashcards en 30 secondes.

Générateur de flashcards