Flashcards : KPPV et arbres de décision (85 cartes)

Toutes les cartes

1Question

Comment le KPPV attribue-t-il une classe à un nouvel objet ?

Réponse

Il lui attribue la classe majoritaire parmi ses kk voisins les plus proches.

2Question

Que calcule le KPPV pour chaque exemple d’entraînement lors d’un classement ?

Réponse

La distance à l’objet à classer.

3Question

Comment le KPPV choisit-il les exemples utilisés pour classer un objet ?

Réponse

Il sélectionne les kk exemples les plus proches.

4Question

Pourquoi faut-il normaliser les variables avant un KPPV ?

Réponse

Une variable de grande amplitude peut dominer la distance euclidienne et rendre les autres presque négligeables.

5Question

Quel effet une valeur de k trop petite produit-elle sur le KPPV ?

Réponse

Elle le rend sensible au bruit et augmente la variance.

6Question

Comment choisir kk et les autres paramètres du KPPV ?

Réponse

Par validation croisée.

7Question

Quel jeu de données ne faut-il pas utiliser pour choisir les paramètres du KPPV ?

Réponse

Le jeu de test.

8Question

Comment un arbre de décision aboutit-il à une décision ?

Réponse

En enchaînant des tests sur les attributs, dont les réponses déterminent les branches.

9Question

Quelles étapes répète la construction gloutonne d’un arbre depuis la racine ?

Réponse

Choisir le meilleur test local, partitionner les données et recommencer sur chaque sous-ensemble jusqu’à un critère d’arrêt.

10Question

Que mesure l’impureté d’un nœud ?

Réponse

Le mélange des classes qu’il contient.

11Question

Comment le gain d’impureté d’un test se calcule-t-il ?

Réponse

I(parent)−∑ininI(enfanti)I(\text{parent})-\sum_i\frac{n_i}{n}I(\text{enfant}_i).

12Question

Quelle valeur un arbre de régression prédit-il dans chaque feuille ?

Réponse

La moyenne des valeurs yy des exemples qu’elle contient.

13Question

Quelle forme de fonction produit un arbre de régression ?

Réponse

Une fonction constante par morceaux.

14Question

Quelles interfaces utilise DecisionTreeClassifier dans scikit-learn ?

Réponse

fit, predict et score.

15Question

Quel paramètre de DecisionTreeClassifier choisit entre Gini et entropie ?

Réponse

criterion.

16Question

Quel risque présente un arbre libre qui isole les exemples ?

Réponse

Il peut apprendre par cœur le bruit, entraînant une variance très élevée.

17Question

Que devient l’erreur d’entraînement quand la profondeur de l’arbre augmente ?

Réponse

Elle peut tomber à zéro.

18Question

Que devient l’erreur de test quand la profondeur de l’arbre augmente excessivement ?

Réponse

Elle finit par remonter.

19Question

Comment le pré-élagage et le post-élagage diffèrent-ils ?

Réponse

Le pré-élagage arrête la croissance selon des seuils, tandis que le post-élagage coupe après la croissance les branches peu utiles.

20Question

Sur quelles données choisir les hyperparamètres d’un arbre ?

Réponse

Sur un jeu de validation, jamais sur le jeu de test.

21Question

Quelle est la variance de la moyenne de MM estimateurs indépendants de variance σ2\sigma^2 ?

Réponse

σ2M\frac{\sigma^2}{M}

22Question

Comment le bagging entraîne-t-il ses arbres ?

Réponse

Chaque arbre est entraîné sur un échantillon bootstrap.

23Question

Comment le bagging agrège-t-il les prédictions en classification ?

Réponse

Par vote majoritaire.

24Question

Comment le bagging agrège-t-il les prédictions en régression ?

Réponse

Par moyenne.

25Question

Comment obtient-on un échantillon bootstrap à partir de nn exemples ?

Réponse

En tirant avec remise nn exemples parmi les nn exemples d’origine.

26Question

Selon Breiman, 2001, comment une forêt aléatoire entraîne-t-elle ses arbres ?

Réponse

Sur des échantillons bootstrap.

27Question

Selon Breiman, 2001, quelles variables une forêt aléatoire considère-t-elle à chaque nœud ?

Réponse

Un sous-ensemble aléatoire de variables.

28Question

Comment agrège-t-on les prédictions d’une forêt aléatoire en classification ?

Réponse

Par vote majoritaire.

29Question

Comment agrège-t-on les prédictions d’une forêt aléatoire en régression ?

Réponse

Par moyenne.

30Question

Comment choisit-on les variables à chaque nœud lors de la croissance d’un arbre de forêt aléatoire ?

Réponse

On tire mm variables au hasard.

31Question

Comment un exemple est-il prédit en OOB dans une forêt aléatoire ?

Réponse

Uniquement avec les arbres qui ne l’ont pas vu pendant leur entraînement.

32Question

Quel biais affecte l’importance par réduction d’impureté dans une forêt ?

Réponse

Elle favorise les variables à forte cardinalité.

33Question

Quel est un avantage des arbres de décision par rapport aux forêts aléatoires ?

Réponse

Ils sont très interprétables, rapides et peu coûteux.

34Question

Comment le boosting entraîne-t-il ses arbres et quel effet réduit-il surtout ?

Réponse

Il les entraîne en série et réduit surtout le biais.

35Question

Pour quels types de données les arbres et forêts aléatoires sont-ils adaptés ?

Réponse

Aux données tabulaires mêlant variables numériques et catégorielles.

36Question

Quelles relations les arbres et forêts aléatoires peuvent-ils modéliser ?

Réponse

Les relations non linéaires et les interactions.

37Question

Que mémorise le KPPV avant une prédiction ?

Réponse

Les données d’entraînement.

38Question

Quelle valeur le KPPV renvoie-t-il en régression ?

Réponse

La moyenne des valeurs yy des kk voisins, éventuellement pondérée.

39Question

Quelles propriétés le KPPV suppose-t-il concernant la frontière de décision ?

Réponse

Aucune forme particulière n’est supposée.

40Question

Quels éléments le KPPV nécessite-t-il pour fonctionner ?

Réponse

Un jeu d’entraînement, une mesure de distance, une valeur de k et une règle d’agrégation des voisins.

41Question

Quelle formule donne la distance euclidienne entre deux objets de coordonnées xix_i et yiy_i ?

Réponse

d(O1,O2)=∑i=1n(xi−yi)2d(O_1,O_2)=\sqrt{\sum_{i=1}^{n}(x_i-y_i)^2}

42Question

Quelles propriétés une distance doit-elle respecter ?

Réponse

La séparation des points, la positivité, la symétrie et l’inégalité triangulaire.

43Question

Quelle distance convient aux variables catégorielles ?

Réponse

La distance vaut 0 si les valeurs sont identiques et 1 sinon.

44Question

Pourquoi choisir un k impair en classification binaire ?

Réponse

Pour éviter une égalité des votes entre deux classes.

45Question

Comment le vote majoritaire du KPPV choisit-il la classe ?

Réponse

Il choisit la classe la plus fréquente parmi les voisins.

46Question

Comment le vote pondéré du KPPV traite-t-il les voisins proches ?

Réponse

Il leur donne davantage de poids.

47Question

Quel est le coût d’une prédiction par force brute en fonction de kk, dd et nn ?

Réponse

O(kdn)O(kdn)

48Question

Quel paramètre de KNeighborsClassifier fixe le nombre de voisins ?

Réponse

n_neighbors

49Question

Quelle valeur de weights active le vote par distance dans KNeighborsClassifier ?

Réponse

weights="distance"

50Question

Quelle valeur de metric choisit la distance de Manhattan dans KNeighborsClassifier ?

Réponse

metric="manhattan"

51Question

Qu’est-ce que la racine d’un arbre de décision ?

Réponse

Le premier nœud, où s’effectue le test initial.

52Question

Que teste un nœud interne d’un arbre de décision ?

Réponse

Un attribut de données.

53Question

À quoi correspond une branche dans un arbre de décision ?

Réponse

À une valeur ou à un seuil du test effectué dans un nœud.

54Question

Que prédit une feuille d’arbre de décision ?

Réponse

Une classe.

55Question

Quelles variables un arbre de décision traite-t-il sans normalisation ?

Réponse

Les variables numériques et catégorielles.

56Question

Quelle forme produisent les tests de seuil d’un arbre dans l’espace ?

Réponse

Une frontière en rectangles, délimitée par des droites parallèles aux axes.

57Question

À quoi sert un arbre de décision auprès d’un humain ?

Réponse

À justifier une décision.

58Question

Pourquoi la construction gloutonne ne garantit-elle pas un arbre globalement optimal ?

Réponse

L’optimisation globale est NP-difficile.

59Question

Quelle formule définit l’indice de Gini d’un nœud ?

Réponse

G=1−∑kpk2G=1-\sum_k p_k^2, où pkp_k est la proportion de la classe kk.

60Question

Quelle formule définit l’entropie d’un nœud ?

Réponse

H=−∑kpklog⁡2(pk)H=-\sum_k p_k\log_2(p_k), où pkp_k est la proportion de la classe kk.

61Question

Quand l’indice de Gini et l’entropie sont-ils maximaux ?

Réponse

Lorsque les classes sont équiprobables.

62Question

Quel critère désigne le meilleur test de découpe ?

Réponse

Celui qui maximise le gain d’impureté.

63Question

Que minimise le critère de découpe d’un arbre de régression ?

Réponse

La variance ou l’erreur quadratique moyenne des enfants.

64Question

Quel effet une profondeur accrue a-t-elle sur les paliers d’un arbre de régression ?

Réponse

Elle les rend plus fins, avec un risque de surapprentissage.

65Question

Que limite max_depth=4 dans l’exemple de diagnostic de tumeurs ?

Réponse

La profondeur de l’arbre à 4.

66Question

Que limite min_samples_leaf=5 dans l’exemple de diagnostic de tumeurs ?

Réponse

Le nombre minimal d’exemples par feuille à 5.

67Question

Sous quelle forme la fonction `export_text` affiche-t-elle les règles d’un arbre ?

Réponse

Sous forme de conditions « SI… ALORS ».

68Question

Que mesure l’importance d’une variable dans un arbre ?

Réponse

La réduction de l’impureté totale qu’elle entraîne.

69Question

Quel hyperparamètre règle le post-élagage par complexité-coût ?

Réponse

`ccp_alpha`.

70Question

Quelle proportion d’exemples distincts contient en moyenne un échantillon bootstrap ?

Réponse

Environ 63 %.

71Question

Comment appelle-t-on les exemples restants d’un échantillon bootstrap ?

Réponse

L’échantillon out-of-bag (OOB).

72Question

Quel effet les données bootstrap différentes ont-elles sur l’agrégation des arbres ?

Réponse

Elles rendent leurs erreurs plus indépendantes et stabilisent l’agrégation.

73Question

Pourquoi le tirage aléatoire de variables décorrèle-t-il les arbres d’une forêt ?

Réponse

Il évite que les mêmes variables très prédictives soient choisies en haut de tous les arbres.

74Question

Quelle valeur usuelle de mm utilise-t-on en classification avec dd variables ?

Réponse

m=dm=\sqrt{d}

75Question

Quelle valeur usuelle de mm utilise-t-on en régression avec dd variables ?

Réponse

m=d/3m=d/3

76Question

Comment évolue l’erreur d’une forêt aléatoire lorsque le nombre d’arbres augmente ?

Réponse

Elle décroît puis se stabilise, sans sur-apprentissage dû à l’ajout d’arbres.

77Question

Comment choisir n_estimators selon une règle pratique ?

Réponse

Le rendre aussi grand que le budget le permet, souvent entre 100 et 500.

78Question

Quel paramètre active l’évaluation OOB d’une forêt dans scikit-learn ?

Réponse

oob_score=True.

79Question

Quel paramètre décorrèle particulièrement les arbres d’une forêt aléatoire ?

Réponse

max_features.

80Question

Pourquoi choisit-on souvent un arbre unique plutôt qu’une forêt ?

Réponse

Pour obtenir des explications.

81Question

Pourquoi choisit-on souvent une forêt plutôt qu’un arbre unique ?

Réponse

Pour ses performances ou comme baseline forte.

82Question

Pour quelles données les arbres et forêts sont-ils moins adaptés que le deep learning ?

Réponse

Les images, le son et le texte brut.

83Question

Pourquoi les arbres extrapolent-ils mal hors du domaine d’entraînement ?

Réponse

Leurs prédictions sont constantes aux bords.

84Question

Quand une forêt aléatoire est-elle moins adaptée qu’un arbre seul ?

Réponse

Lorsque les contraintes de mémoire ou de latence sont fortes.

85Question

Pourquoi une forêt aléatoire est-elle moins adaptée sous de fortes contraintes de latence ?

Réponse

Elle est plus coûteuse qu’un arbre seul.

Teste-toi avec le QCM

Teste tes connaissances avec un QCM de 28 questions sur KPPV et arbres de décision.

1. Un nouvel objet est entouré de cinq exemples d’entraînement, dont trois appartiennent à la classe A et deux à la classe B. Quelle classe le KPPV lui attribue-t-il ?

2. Pour classer un nouvel objet avec un KPPV de paramètre k, quelle opération doit être effectuée juste après le calcul de sa distance à chaque exemple d’entraînement ?

Faire le QCM →

Consultez la fiche

Révisez le cours complet dans la fiche de révision de KPPV et arbres de décision.

Voir la fiche →

Cours similaires

Crée tes propres flashcards

Importe ton cours et l'IA génère des flashcards en 30 secondes.

Générateur de flashcards