QCM : Fondements du machine learning (33 questions)

Explication

La définition de Mitchell repose sur l’amélioration de la performance sur les tâches T, mesurée par P, grâce à l’expérience E. Une performance constante n’est pas un apprentissage, et les rôles de E, T et P ne sont pas interchangeables.

Explication

Les trois composantes nécessaires sont les données, les caractéristiques et les algorithmes. Les étiquettes peuvent accompagner certaines données, mais ne remplacent pas les caractéristiques; un modèle obtenu n’est pas l’algorithme lui-même.

Explication

Le principe « garbage in – garbage out » signifie qu’un algorithme performant ne compense pas des données de mauvaise qualité; leur qualité et leur diversité influencent les résultats. Croire que l’algorithme garantit la qualité néglige cette limite, tandis que les autres réponses déplacent l’explication vers d’autres composantes.

Explication

L’apprentissage supervisé s’appuie sur des données étiquetées et des réponses connues, comme les catégories chat et chien. La recherche de structures sans étiquettes caractérise le non-supervisé, et une valeur continue relèverait de la régression.

Explication

La régression prédit une sortie continue, comme un délai en heures, tandis que la classification prédit une catégorie discrète, comme « en retard » ou « à l’heure ». Inverser ces rôles confond les types de sorties; traiter les deux tâches de la même façon ignore cette distinction.

Explication

L’apprentissage non supervisé recherche des structures sans réponses correctes connues ni rétroaction fondée sur les prédictions. La supervision différée suppose des réponses connues, la régression prédit une cible et le renforcement repose sur un signal de récompense.

Explication

Le clustering organise les données en groupes en exploitant leurs structures inhérentes et les relations entre variables afin de maximiser les ressemblances au sein des groupes. La réduction résume les données, tandis que classification et régression prédisent une cible.

Explication

La réduction de dimensionnalité exploite la structure inhérente des données pour les résumer ou les décrire avec moins d’informations, de manière non supervisée. Le clustering forme des groupes, la classification s’appuie sur des étiquettes et l’ajout de variables n’effectue pas cette réduction.

Explication

Un ensemble d’entraînement est une liste de m exemples (entrée, cible), indexés de 1 à m, utilisée pour apprendre. Une paire est un exemple individuel, et une hypothèse est la fonction apprise plutôt que la liste d’exemples.

Explication

Une hypothèse h est une fonction de X vers Y, apprise à partir de l’ensemble d’entraînement afin que h(x) prédise la valeur cible y. L’ensemble regroupe les exemples, X désigne l’espace des entrées et la cible observée n’est pas la fonction de prédiction.

Explication

Une cible continue définit un problème de régression, alors qu’une cible prenant un petit nombre de valeurs discrètes définit un problème de classification. Des groupes non étiquetés relèvent du clustering, et une représentation d’entrées ne caractérise pas à elle seule le type de cible.

Explication

La régression linéaire simple prédit une réponse quantitative à partir d’un seul prédicteur en supposant une relation approximativement linéaire. La régression multiple implique plusieurs prédicteurs, la classification vise une catégorie et la régression non linéaire ne correspond pas à l’hypothèse donnée.

Explication

Le modèle simple s’écrit $h_{\theta}(x)=\theta_0+\theta_1x$ : en remplaçant les paramètres, on obtient $3+2x$. L’expression $2x$ omet l’interception, $3x+2$ inverse les paramètres et $3+2$ ne tient pas compte de $x$.

Explication

La fonction de coût mesure l’écart entre les valeurs prédites par l’hypothèse et les valeurs réelles des exemples d’entraînement. La dispersion des prédicteurs, le nombre d’exemples et la complexité du modèle ne sont pas ce que cette fonction mesure.

Explication

Le coût vaut $\frac{1}{2m}\sum_i (h_{\boldsymbol{\theta}}(x^{(i)})-y^{(i)})^2$. Ici, $m=2$ et la somme des carrés est $1^2+3^2=10$, donc $J=10/(2\times2)=5/2$; $5$ omet la normalisation par $m$, $5/4$ ajoute un facteur de division et $2$ ne met pas les erreurs au carré.

Explication

L’objectif est de choisir $\theta_0$ et $\theta_1$ afin de minimiser le coût, ce qui rend les prédictions proches des valeurs réelles. Maximiser le coût inverse le but, tandis que réduire la variation des prédicteurs ou le nombre d’exemples ne correspond pas à cette règle.

Explication

Une droite a une pente constante, alors que la pente d’une courbe dépend de la portion considérée. La « pente variable de la droite » inverse la distinction, la « pente constante de la courbe » l’applique à tort, et la « variation des deux » méconnaît la constance d’une droite.

Explication

La dérivée en un point correspond à la pente de la tangente, approchée à l’aide de deux points extrêmement proches. La « pente moyenne éloignée » ne donne pas cette approximation locale, la « hauteur » est une valeur de la fonction, et une « sécante quelconque » ne représente pas nécessairement la tangente.

Explication

La méthode trouve les paramètres en annulant les dérivées partielles de la fonction de coût par rapport à $\theta_0$ et $\theta_1$. « Maximiser » inverse l’objectif, les dérivées par rapport aux « valeurs observées » ne ciblent pas les paramètres, et dériver par rapport à $\theta_0$ seulement néglige $\theta_1$.

Explication

Le rapport donné est l’estimateur de pente, donc $\hat{\theta}_1=3$; l’interception vaut $\bar{y}-\hat{\theta}_1\bar{x}=5-3\times2=-1$. Le résultat « $\frac{1}{3}$ » inverse le rapport, « 11 » additionne au lieu de soustraire, et « 2 » prend la moyenne de $x$ pour la pente.

Explication

La descente de gradient estime les paramètres en progressant vers le minimum du coût, dans la direction de sa plus forte décroissance. Viser un maximum ou suivre la croissance inverse le but, tandis que modifier les paramètres sans chercher à minimiser le coût omet le principe central.

Explication

La règle de mise à jour soustrait au paramètre le produit du taux d’apprentissage et de la dérivée partielle correspondante. Ajouter le terme inverse le sens de descente, omettre $\alpha$ change la taille du pas, et employer la dérivée selon $\theta_0$ ne met pas correctement à jour $\theta_1$.

Explication

Les mises à jour de tous les paramètres doivent être calculées à partir de leurs anciennes valeurs, puis appliquées simultanément. Utiliser le nouveau $\theta_0$ donne une mise à jour séquentielle; modifier le taux ou les paramètres avant de calculer les dérivées n’est pas la règle indiquée.

Explication

Pour un coût quadratique convexe, la dérivée tend vers zéro à mesure que le paramètre approche du minimum et elle est nulle au minimum. Une dérivée qui s’éloigne de zéro ou reste constante ne décrit pas cette convergence; son annulation avant le minimum confond le voisinage avec le point minimal.

Explication

Un taux d’apprentissage trop petit produit des pas réduits et une progression très lente. Le dépassement du minimum et la divergence sont des risques associés à un taux trop grand, et la lenteur décrite n’est pas en elle-même une divergence.

Explication

Un taux d’apprentissage trop grand peut produire des pas qui dépassent le minimum, empêchent la convergence ou entraînent une divergence. Un taux trop petit ralentit la progression; un taux adapté n’implique pas le dépassement, et un taux trop grand ne garantit pas une baisse stable.

Explication

Les deux paramètres sont mis à jour simultanément en soustrayant le taux d’apprentissage multiplié par leur gradient moyen sur l’ensemble d’entraînement; le gradient de $\theta_1$ inclut aussi le facteur $x^{(i)}$. Calculer sur un seul exemple confond cette règle avec une mise à jour stochastique, omettre $x^{(i)}$ modifie le gradient de la pente et ajouter le gradient inverse le sens de la mise à jour.

Explication

La descente par lots calcule chaque mise à jour à partir de tous les exemples de l’ensemble d’entraînement. Un seul exemple correspond à la méthode stochastique, tandis qu’un nombre fixe inférieur à l’effectif total caractérise le mini-lot.

Explication

La moyenne calculée sur tous les exemples rend les mises à jour par lots plus stables, mais le traitement complet peut être lent et demander beaucoup de mémoire. Les mises à jour fréquentes à partir d’un exemple et les fluctuations du coût caractérisent plutôt la descente stochastique.

Explication

La descente stochastique utilise un seul exemple par pas, ce qui permet des mises à jour fréquentes et convient aux grands jeux de données, mais entraîne des fluctuations et des oscillations autour du minimum. Une baisse régulière à chaque exemple n’est pas garantie, et le gradient calculé sur tous les exemples relève de la méthode par lots.

Explication

La descente mini-batch utilise à chaque itération un nombre fixe d’exemples inférieur à l’effectif total; ici, ce nombre est 32. La taille totale de 500 correspondrait au traitement par lots, tandis qu’un seul exemple caractériserait la descente stochastique.

Explication

Le momentum utilise des moyennes exponentiellement pondérées des gradients pour mettre à jour les poids et rendre la progression vers le minimum plus rapide et régulière. AdaGrad et RMSprop sont d’autres techniques d’optimisation, tandis que la descente classique ne désigne pas ce mécanisme de moyenne pondérée.

Explication

RMSprop, AdaGrad, AdaDelta, Adam et Ftrl figurent parmi les autres techniques d’optimisation citées. Le momentum est également évoqué, mais la liste proposée doit contenir les cinq méthodes spécifiées ; les deux formes de descente de gradient ne font pas partie de cette liste.