QCM : Apprentissage automatique : données et évaluation (11 questions)

Questions et réponses du QCM

1. Un modèle obtient d’excellents résultats lorsqu’il est évalué sur les mêmes exemples que ceux utilisés pour son entraînement. Quelle conclusion cette évaluation permet-elle de tirer sur sa capacité à généraliser ?

Elle ne permet pas de distinguer une relation généralisable d’une mémorisation des exemples.
Elle démontre que le modèle a appris une relation généralisable à de nouveaux exemples.
Elle indique que les hyperparamètres ont été réglés de façon satisfaisante.
Elle mesure sans biais la performance du modèle final sur des données inédites.

Elle ne permet pas de distinguer une relation généralisable d’une mémorisation des exemples.

Explication

Une évaluation limitée aux exemples d’entraînement ne révèle pas si le modèle généralise ou s’il les a mémorisés. Conclure à une généralisation confond performance d’entraînement et capacité sur des données nouvelles; l’évaluation sans biais du modèle final relève du jeu de test, et le réglage des hyperparamètres de la validation.

2. Pendant le développement d’un modèle, une équipe consulte régulièrement les performances sur un échantillon réservé afin d’ajuster les hyperparamètres. Quel rôle joue cet échantillon ?

Le jeu d’entraînement, qui sert à évaluer fréquemment le modèle ajusté.
Le jeu de test, qui guide indirectement la configuration du modèle.
Le jeu de validation, qui guide indirectement la configuration du modèle.
Le jeu de test, qui fournit une évaluation non biaisée à chaque réglage.

Le jeu de validation, qui guide indirectement la configuration du modèle.

Explication

Le jeu de validation sert à évaluer fréquemment le modèle et à régler ses hyperparamètres, ce qui influence indirectement sa configuration. Le jeu de test est destiné à l’évaluation finale, tandis que l’entraînement sert à ajuster le modèle.

3. Un jeu de données est réparti en cinq plis pour une validation croisée K-fold. Combien de fois chaque exemple est-il utilisé pour entraîner le modèle et combien de fois sert-il à la validation ?

Une fois pour l’entraînement et quatre fois pour la validation.
Cinq fois pour l’entraînement et une fois pour la validation.
Quatre fois pour l’entraînement et une fois pour la validation.
Quatre fois pour l’entraînement et deux fois pour la validation.

Quatre fois pour l’entraînement et une fois pour la validation.

Explication

Avec cinq plis, chaque itération entraîne le modèle sur quatre plis et valide sur le pli restant; chaque exemple est donc entraîné quatre fois et validé une fois. Inverser les rôles des plis ou compter une validation par pli pour chaque exemple ne respecte pas ce mécanisme.

4. Dans un problème de classification déséquilibré, une équipe veut que chacun des plis de validation conserve approximativement les proportions de classes du jeu complet. Quelle méthode répond à cet objectif ?

La validation croisée stratifiée.
La validation croisée stratifiée adaptée à une cible continue.
La validation croisée exhaustive.
La validation croisée K-fold ordinaire.

La validation croisée stratifiée.

Explication

La validation croisée stratifiée construit des plis qui conservent approximativement la proportion des classes cibles. Le K-fold ordinaire ne garantit pas cette préservation, et l’équilibrage de la moyenne entre plis concerne la régression.

5. Que désigne un sous-apprentissage en apprentissage automatique ?

Un modèle qui mémorise les exemples d’entraînement sans parvenir à réduire son erreur sur ces exemples.
Un modèle trop simple qui ne saisit pas les tendances des données et prédit mal, même sur l’entraînement.
Un modèle trop complexe qui s’ajuste au bruit des données d’entraînement et généralise mal.
Un modèle dont les erreurs d’entraînement et de test sont faibles et proches l’une de l’autre.

Un modèle trop simple qui ne saisit pas les tendances des données et prédit mal, même sur l’entraînement.

Explication

Le sous-apprentissage apparaît lorsqu’un modèle trop simple ne capte pas les tendances des données et présente de mauvaises prédictions, y compris sur les données d’entraînement. À l’inverse, un modèle qui s’ajuste au bruit et généralise mal relève du surapprentissage.

6. Quelle pénalité la régularisation L2 ajoute-t-elle à la fonction de coût d’un modèle ?

Une pénalité proportionnelle à la somme des écarts entre prédictions et valeurs réelles
Une pénalité proportionnelle au nombre d’erreurs de classification du modèle
Une pénalité proportionnelle à la somme des valeurs absolues des paramètres du modèle
Une pénalité proportionnelle à la somme des carrés des paramètres du modèle

Une pénalité proportionnelle à la somme des carrés des paramètres du modèle

Explication

La régularisation L2 pénalise les paramètres en fonction de la somme de leurs carrés, ce qui réduit leur influence et aide à limiter le surapprentissage. La somme des valeurs absolues correspond plutôt à la pénalité L1.

7. Quel est le rôle principal du coefficient de détermination R2R^2 dans l’évaluation d’un modèle de régression ?

Mesurer la moyenne des écarts absolus entre les prédictions et les valeurs réelles
Pénaliser les erreurs importantes en calculant la moyenne de leurs carrés
Exprimer l’ampleur moyenne des erreurs dans l’unité de la variable cible
Quantifier la part de la variation de la cible expliquée par les variables prédictives

Quantifier la part de la variation de la cible expliquée par les variables prédictives

Explication

Le coefficient R2R^2 indique quelle proportion de la variance de la cible est expliquée par les variables prédictives. La RMSE, contrairement à R2R^2, exprime les erreurs dans la même unité que la cible.

8. Dans une matrice de confusion, comment les lignes et les colonnes sont-elles organisées ?

Les lignes indiquent les vrais positifs et les colonnes les faux positifs.
Les lignes indiquent les erreurs de prédiction et les colonnes les prédictions correctes.
Les lignes indiquent les classes prédites et les colonnes les classes réelles.
Les lignes indiquent les classes réelles et les colonnes les classes prédites.

Les lignes indiquent les classes prédites et les colonnes les classes réelles.

Explication

Cette organisation permet de comparer les étiquettes prédites aux étiquettes réelles, les prédictions correctes se trouvant sur la diagonale. Inverser les lignes et les colonnes confond les classes prédites avec les classes réelles.

9. Quelle distinction sépare la sensibilité de la spécificité dans l’évaluation d’un classificateur ?

La sensibilité mesure la proportion totale de prédictions correctes, tandis que la spécificité mesure la proportion totale d’erreurs.
La sensibilité mesure les prédictions positives qui sont exactes, tandis que la spécificité mesure les prédictions négatives qui sont exactes.
La sensibilité mesure les positifs réels correctement détectés, tandis que la spécificité mesure les négatifs réels correctement reconnus.
La sensibilité mesure les négatifs réels mal classés, tandis que la spécificité mesure les positifs réels mal classés.

La sensibilité mesure les positifs réels correctement détectés, tandis que la spécificité mesure les négatifs réels correctement reconnus.

Explication

La sensibilité correspond au taux de vrais positifs, calculé parmi les cas réellement positifs, alors que la spécificité correspond au taux de vrais négatifs, calculé parmi les cas réellement négatifs. La proportion de prédictions positives qui sont exactes renvoie à la précision, et non à la sensibilité.

10. Lorsqu’on abaisse le seuil de décision d’un classificateur binaire, quelle conséquence observe-t-on généralement sur les taux de vrais positifs et de faux positifs ?

Les deux taux ont tendance à augmenter, car davantage d’exemples sont prédits comme positifs.
Les deux taux restent constants, car le seuil ne modifie que l’AUC.
Le taux de vrais positifs diminue tandis que le taux de faux positifs augmente.
Le taux de vrais positifs augmente tandis que le taux de faux positifs diminue.

Les deux taux ont tendance à augmenter, car davantage d’exemples sont prédits comme positifs.

Explication

Un seuil plus bas rend plus facile la prédiction de la classe positive, ce qui tend à accroître à la fois les vrais positifs et les faux positifs. La baisse du taux de faux positifs n’est pas l’effet attendu, puisque davantage d’exemples négatifs peuvent aussi être classés positifs.

11. Une équipe compare plusieurs valeurs candidates pour chaque hyperparamètre et veut tester toutes les combinaisons possibles. Quelle méthode doit-elle utiliser ?

La recherche sur grille, qui évalue les combinaisons issues des valeurs candidates définies
La régularisation, qui ajoute une pénalité afin de limiter la complexité du modèle
La validation croisée, qui répartit les données en plis pour estimer les performances du modèle
La recherche aléatoire, qui échantillonne des combinaisons selon un nombre d’itérations fixé

La recherche sur grille, qui évalue les combinaisons issues des valeurs candidates définies

Explication

La recherche sur grille construit et teste les combinaisons des valeurs candidates fournies pour chaque hyperparamètre. La recherche aléatoire explore des combinaisons échantillonnées et ne garantit donc pas que toutes les combinaisons seront évaluées.

Révisez avec les flashcards

Mémorisez les réponses avec 10 flashcards sur Apprentissage automatique : données et évaluation.

Pourquoi tester un modèle uniquement sur ses données d’entraînement est-il insuffisant ?

Cela ne révèle pas s’il généralise ou s’il mémorise les données.

À quoi sert le jeu d’entraînement, selon Jason Brownlee ?

Il sert à ajuster le modèle, qui apprend à partir de ces données.

Comment la validation croisée K-fold répartit-elle les rôles des plis entre les répétitions ?

Chaque pli sert une fois à la validation, tandis que les autres servent à l’entraînement.

Voir les flashcards →

Approfondir avec la fiche

Consultez la fiche de révision complète sur Apprentissage automatique : données et évaluation.

Voir la fiche →

Cours similaires

Bases de l’informatique

Sécurité informatique et des systèmes

Cybersécurité

Recherche documentaire et confidentialité

Fondements du machine learning

Intelligence Artificielle

Internet et histoire du Web

Architecture et composants PC

Crée tes propres QCM

Importe ton cours et l'IA génère des QCM avec corrections en 30 secondes.

Générateur de QCM