Comment le KPPV attribue-t-il une classe à un nouvel objet ?
Il lui attribue la classe majoritaire parmi ses voisins les plus proches.
Que calcule le KPPV pour chaque exemple d’entraînement lors d’un classement ?
La distance à l’objet à classer.
Comment le KPPV choisit-il les exemples utilisés pour classer un objet ?
Il sélectionne les exemples les plus proches.
Pourquoi faut-il normaliser les variables avant un KPPV ?
Une variable de grande amplitude peut dominer la distance euclidienne et rendre les autres presque négligeables.
Quel effet une valeur de k trop petite produit-elle sur le KPPV ?
Elle le rend sensible au bruit et augmente la variance.
Comment choisir et les autres paramètres du KPPV ?
Par validation croisée.
Quel jeu de données ne faut-il pas utiliser pour choisir les paramètres du KPPV ?
Le jeu de test.
Comment un arbre de décision aboutit-il à une décision ?
En enchaînant des tests sur les attributs, dont les réponses déterminent les branches.
Quelles étapes répète la construction gloutonne d’un arbre depuis la racine ?
Choisir le meilleur test local, partitionner les données et recommencer sur chaque sous-ensemble jusqu’à un critère d’arrêt.
Que mesure l’impureté d’un nœud ?
Le mélange des classes qu’il contient.
Comment le gain d’impureté d’un test se calcule-t-il ?
.
Quelle valeur un arbre de régression prédit-il dans chaque feuille ?
La moyenne des valeurs des exemples qu’elle contient.
Quelle forme de fonction produit un arbre de régression ?
Une fonction constante par morceaux.
Quelles interfaces utilise DecisionTreeClassifier dans scikit-learn ?
fit, predict et score.
Quel paramètre de DecisionTreeClassifier choisit entre Gini et entropie ?
criterion.
Quel risque présente un arbre libre qui isole les exemples ?
Il peut apprendre par cœur le bruit, entraînant une variance très élevée.
Que devient l’erreur d’entraînement quand la profondeur de l’arbre augmente ?
Elle peut tomber à zéro.
Que devient l’erreur de test quand la profondeur de l’arbre augmente excessivement ?
Elle finit par remonter.
Comment le pré-élagage et le post-élagage diffèrent-ils ?
Le pré-élagage arrête la croissance selon des seuils, tandis que le post-élagage coupe après la croissance les branches peu utiles.
Sur quelles données choisir les hyperparamètres d’un arbre ?
Sur un jeu de validation, jamais sur le jeu de test.
Quelle est la variance de la moyenne de estimateurs indépendants de variance ?
Comment le bagging entraîne-t-il ses arbres ?
Chaque arbre est entraîné sur un échantillon bootstrap.
Comment le bagging agrège-t-il les prédictions en classification ?
Par vote majoritaire.
Comment le bagging agrège-t-il les prédictions en régression ?
Par moyenne.
Comment obtient-on un échantillon bootstrap à partir de exemples ?
En tirant avec remise exemples parmi les exemples d’origine.
Selon Breiman, 2001, comment une forêt aléatoire entraîne-t-elle ses arbres ?
Sur des échantillons bootstrap.
Selon Breiman, 2001, quelles variables une forêt aléatoire considère-t-elle à chaque nœud ?
Un sous-ensemble aléatoire de variables.
Comment agrège-t-on les prédictions d’une forêt aléatoire en classification ?
Par vote majoritaire.
Comment agrège-t-on les prédictions d’une forêt aléatoire en régression ?
Par moyenne.
Comment choisit-on les variables à chaque nœud lors de la croissance d’un arbre de forêt aléatoire ?
On tire variables au hasard.
Comment un exemple est-il prédit en OOB dans une forêt aléatoire ?
Uniquement avec les arbres qui ne l’ont pas vu pendant leur entraînement.
Quel biais affecte l’importance par réduction d’impureté dans une forêt ?
Elle favorise les variables à forte cardinalité.
Quel est un avantage des arbres de décision par rapport aux forêts aléatoires ?
Ils sont très interprétables, rapides et peu coûteux.
Comment le boosting entraîne-t-il ses arbres et quel effet réduit-il surtout ?
Il les entraîne en série et réduit surtout le biais.
Pour quels types de données les arbres et forêts aléatoires sont-ils adaptés ?
Aux données tabulaires mêlant variables numériques et catégorielles.
Quelles relations les arbres et forêts aléatoires peuvent-ils modéliser ?
Les relations non linéaires et les interactions.
Que mémorise le KPPV avant une prédiction ?
Les données d’entraînement.
Quelle valeur le KPPV renvoie-t-il en régression ?
La moyenne des valeurs des voisins, éventuellement pondérée.
Quelles propriétés le KPPV suppose-t-il concernant la frontière de décision ?
Aucune forme particulière n’est supposée.
Quels éléments le KPPV nécessite-t-il pour fonctionner ?
Un jeu d’entraînement, une mesure de distance, une valeur de k et une règle d’agrégation des voisins.
Quelle formule donne la distance euclidienne entre deux objets de coordonnées et ?
Quelles propriétés une distance doit-elle respecter ?
La séparation des points, la positivité, la symétrie et l’inégalité triangulaire.
Quelle distance convient aux variables catégorielles ?
La distance vaut 0 si les valeurs sont identiques et 1 sinon.
Pourquoi choisir un k impair en classification binaire ?
Pour éviter une égalité des votes entre deux classes.
Comment le vote majoritaire du KPPV choisit-il la classe ?
Il choisit la classe la plus fréquente parmi les voisins.
Comment le vote pondéré du KPPV traite-t-il les voisins proches ?
Il leur donne davantage de poids.
Quel est le coût d’une prédiction par force brute en fonction de , et ?
Quel paramètre de KNeighborsClassifier fixe le nombre de voisins ?
n_neighbors
Quelle valeur de weights active le vote par distance dans KNeighborsClassifier ?
weights="distance"
Quelle valeur de metric choisit la distance de Manhattan dans KNeighborsClassifier ?
metric="manhattan"
Qu’est-ce que la racine d’un arbre de décision ?
Le premier nœud, où s’effectue le test initial.
Que teste un nœud interne d’un arbre de décision ?
Un attribut de données.
À quoi correspond une branche dans un arbre de décision ?
À une valeur ou à un seuil du test effectué dans un nœud.
Que prédit une feuille d’arbre de décision ?
Une classe.
Quelles variables un arbre de décision traite-t-il sans normalisation ?
Les variables numériques et catégorielles.
Quelle forme produisent les tests de seuil d’un arbre dans l’espace ?
Une frontière en rectangles, délimitée par des droites parallèles aux axes.
À quoi sert un arbre de décision auprès d’un humain ?
À justifier une décision.
Pourquoi la construction gloutonne ne garantit-elle pas un arbre globalement optimal ?
L’optimisation globale est NP-difficile.
Quelle formule définit l’indice de Gini d’un nœud ?
, où est la proportion de la classe .
Quelle formule définit l’entropie d’un nœud ?
, où est la proportion de la classe .
Quand l’indice de Gini et l’entropie sont-ils maximaux ?
Lorsque les classes sont équiprobables.
Quel critère désigne le meilleur test de découpe ?
Celui qui maximise le gain d’impureté.
Que minimise le critère de découpe d’un arbre de régression ?
La variance ou l’erreur quadratique moyenne des enfants.
Quel effet une profondeur accrue a-t-elle sur les paliers d’un arbre de régression ?
Elle les rend plus fins, avec un risque de surapprentissage.
Que limite max_depth=4 dans l’exemple de diagnostic de tumeurs ?
La profondeur de l’arbre à 4.
Que limite min_samples_leaf=5 dans l’exemple de diagnostic de tumeurs ?
Le nombre minimal d’exemples par feuille à 5.
Sous quelle forme la fonction `export_text` affiche-t-elle les règles d’un arbre ?
Sous forme de conditions « SI… ALORS ».
Que mesure l’importance d’une variable dans un arbre ?
La réduction de l’impureté totale qu’elle entraîne.
Quel hyperparamètre règle le post-élagage par complexité-coût ?
`ccp_alpha`.
Quelle proportion d’exemples distincts contient en moyenne un échantillon bootstrap ?
Environ 63 %.
Comment appelle-t-on les exemples restants d’un échantillon bootstrap ?
L’échantillon out-of-bag (OOB).
Quel effet les données bootstrap différentes ont-elles sur l’agrégation des arbres ?
Elles rendent leurs erreurs plus indépendantes et stabilisent l’agrégation.
Pourquoi le tirage aléatoire de variables décorrèle-t-il les arbres d’une forêt ?
Il évite que les mêmes variables très prédictives soient choisies en haut de tous les arbres.
Quelle valeur usuelle de utilise-t-on en classification avec variables ?
Quelle valeur usuelle de utilise-t-on en régression avec variables ?
Comment évolue l’erreur d’une forêt aléatoire lorsque le nombre d’arbres augmente ?
Elle décroît puis se stabilise, sans sur-apprentissage dû à l’ajout d’arbres.
Comment choisir n_estimators selon une règle pratique ?
Le rendre aussi grand que le budget le permet, souvent entre 100 et 500.
Quel paramètre active l’évaluation OOB d’une forêt dans scikit-learn ?
oob_score=True.
Quel paramètre décorrèle particulièrement les arbres d’une forêt aléatoire ?
max_features.
Pourquoi choisit-on souvent un arbre unique plutôt qu’une forêt ?
Pour obtenir des explications.
Pourquoi choisit-on souvent une forêt plutôt qu’un arbre unique ?
Pour ses performances ou comme baseline forte.
Pour quelles données les arbres et forêts sont-ils moins adaptés que le deep learning ?
Les images, le son et le texte brut.
Pourquoi les arbres extrapolent-ils mal hors du domaine d’entraînement ?
Leurs prédictions sont constantes aux bords.
Quand une forêt aléatoire est-elle moins adaptée qu’un arbre seul ?
Lorsque les contraintes de mémoire ou de latence sont fortes.
Pourquoi une forêt aléatoire est-elle moins adaptée sous de fortes contraintes de latence ?
Elle est plus coûteuse qu’un arbre seul.
Teste tes connaissances avec un QCM de 28 questions sur KPPV et arbres de décision.
1. Un nouvel objet est entouré de cinq exemples d’entraînement, dont trois appartiennent à la classe A et deux à la classe B. Quelle classe le KPPV lui attribue-t-il ?
2. Pour classer un nouvel objet avec un KPPV de paramètre k, quelle opération doit être effectuée juste après le calcul de sa distance à chaque exemple d’entraînement ?
Révisez le cours complet dans la fiche de révision de KPPV et arbres de décision.
Voir la fiche →Importe ton cours et l'IA génère des flashcards en 30 secondes.
Générateur de flashcards