★ À maîtriser
Compléments
Le KPPV est un apprentissage paresseux qui mémorise les données d’entraînement sans apprendre de modèle avant la prédiction.
En régression, le KPPV renvoie la moyenne des valeurs y des k voisins, éventuellement pondérée.
Un nouvel objet consulte ses voisins les plus proches pour leur emprunter leur classe.
★ À maîtriser
📌 Avant un KPPV, il faut normaliser les variables, car une variable de grande amplitude peut dominer la distance euclidienne et rendre les autres variables presque négligeables.
Compléments
Le KPPV est non paramétrique et ne suppose aucune forme particulière de frontière de décision.
Le KPPV nécessite un jeu d’entraînement, une mesure de distance, une valeur de k et une règle d’agrégation des voisins.
📐 Formule - La distance euclidienne entre deux objets de coordonnées et est .
Une distance doit vérifier la séparation des points, la positivité, la symétrie et l’inégalité triangulaire.
Les choix de distance selon le type de variable sont :
📌 En classification binaire, choisir un k impair permet d’éviter une égalité des votes entre deux classes.
📌 La valeur de k se choisit par validation ou validation croisée, avec comme heuristique de départ ou k égal au nombre d’attributs plus 1.
Un k petit suit les détails du voisinage ; un k grand lisse davantage la frontière.
★ À maîtriser
📌 Le choix de k et des autres paramètres du KPPV doit se faire par validation croisée plutôt que sur le jeu de test.
Compléments
Le vote majoritaire attribue la classe la plus fréquente parmi les voisins, tandis que le vote pondéré donne davantage de poids aux voisins les plus proches.
Le coût d’une prédiction par force brute est , où n est la taille du jeu d’entraînement et d le nombre d’attributs.
Dans scikit-learn, KNeighborsClassifier permet de choisir le nombre de voisins avec n_neighbors, le vote par distance avec weights="distance" et la distance de Manhattan avec metric="manhattan".
Le KPPV n’entraîne pas de modèle, mais concentre le calcul au moment de la prédiction.
★ À maîtriser
Compléments
Les arbres de décision peuvent traiter des variables numériques et catégorielles sans normalisation.
Les tests de seuil d’un arbre découpent l’espace par des droites parallèles aux axes et produisent une frontière en rectangles, tandis qu’une frontière oblique peut nécessiter de nombreuses marches.
Un arbre de décision peut être utilisé pour justifier une décision auprès d’un humain et constitue une brique de base des forêts aléatoires et du gradient boosting.
Un jeu de « 20 questions » conduit de la racine, par des branches, jusqu’à une feuille.
★ À maîtriser
📐 Formule - Le gain d’impureté d’un test est , où n_i est la taille d’un enfant et n celle du parent.
Compléments
📐 Formule - L’indice de Gini d’un nœud est , où est la proportion de la classe k dans le nœud.
📐 Formule - L’entropie d’un nœud est , où est la proportion de la classe k dans le nœud.
📌 Le meilleur test est celui qui maximise le gain d’impureté, c’est-à-dire qui minimise l’impureté moyenne pondérée des enfants.
Un gain d’impureté élevé conduit à choisir le test qui sépare le mieux les classes.
★ À maîtriser
En régression, un arbre prédit dans chaque feuille la moyenne des valeurs y des exemples qu’elle contient, produisant une fonction constante par morceaux.
Dans scikit-learn, DecisionTreeClassifier utilise les interfaces fit, predict et score, et son paramètre criterion choisit entre Gini et entropie.
Compléments
📌 Pour un arbre de régression, le critère de découpe minimise la variance ou l’erreur quadratique moyenne des enfants.
Plus un arbre de régression est profond, plus ses paliers sont fins, jusqu’au risque de surapprentissage.
Dans l’exemple de diagnostic de tumeurs, max_depth=4 et min_samples_leaf=5 limitent respectivement la profondeur de l’arbre et le nombre minimal d’exemples par feuille.
★ À maîtriser
📌 Le pré-élagage arrête la croissance selon des seuils, tandis que le post-élagage laisse pousser l’arbre puis coupe les branches peu utiles.
📌 Les hyperparamètres de l’arbre se choisissent par validation, jamais sur le jeu de test, afin d’équilibrer sous-apprentissage et sur-apprentissage.
Compléments
La fonction export_text affiche les règles de l’arbre sous la forme de conditions « SI… ALORS ».
Le pré-élagage peut utiliser max_depth, min_samples_split, min_samples_leaf, max_leaf_nodes ou un gain minimal, tandis que le post-élagage peut utiliser cost-complexity pruning avec ccp_alpha.
Arbre plus profond → erreur d’entraînement plus faible, puis erreur de test plus élevée
★ À maîtriser
📐 Formule - La moyenne de estimateurs indépendants de variance a une variance de .
Compléments
En moyenne, un échantillon bootstrap contient environ 63 % des exemples distincts et les quelque 37 % restants forment l’échantillon out-of-bag (OOB).
Les échantillons bootstrap différents font voir aux arbres des données légèrement différentes, ce qui rend leurs erreurs plus indépendantes et stabilise l’agrégation.
Des arbres entraînés sur des échantillons bootstrap différents votent ou calculent une moyenne
★ À maîtriser
Compléments
Le tirage aléatoire de variables décorrèle les arbres lorsque certaines variables très prédictives risqueraient autrement d’être choisies en haut par tous les arbres.
Les valeurs usuelles du nombre de variables considérées par nœud sont en classification et en régression, où d est le nombre total de variables.
Bootstrap des lignes, tirage aléatoire des variables, puis vote ou moyenne
★ À maîtriser
L’importance des variables d’une forêt agrège les réductions d’impureté apportées par chaque variable dans les arbres, mais cette mesure est biaisée en faveur des variables à forte cardinalité, pour lesquelles la permutation importance est préférable.
Un arbre de décision est très interprétable, rapide et peu coûteux, mais instable et sujet au sur-apprentissage ; une forêt aléatoire est moins interprétable et plus coûteuse, mais présente une variance plus faible et résiste mieux au sur-apprentissage.
Le bagging entraîne des arbres en parallèle et réduit surtout la variance, tandis que le boosting entraîne des arbres en série, chacun corrigeant les erreurs du précédent, et réduit surtout le biais.
Compléments
📌 Une règle pratique consiste à choisir n_estimators aussi grand que le budget le permet, souvent entre 100 et 500, car le gain devient négligeable après quelques centaines d’arbres.
Dans scikit-learn, l’évaluation OOB d’une forêt s’active avec oob_score=True et est particulièrement utile lorsque les données sont peu nombreuses.
Dans une forêt, max_features est un levier important de décorrélation des arbres, tandis que max_depth et min_samples_leaf contrôlent leur taille ; class_weight="balanced" peut être utilisé avec des classes déséquilibrées.
★ À maîtriser
Compléments
📌 Un arbre unique est souvent choisi pour obtenir des explications, tandis qu’une forêt est souvent choisie pour ses performances ou comme baseline forte.
Les arbres et les forêts sont moins adaptés aux images, au son et au texte brut, pour lesquels le deep learning est.
Les arbres extrapolent mal hors du domaine d’entraînement, car leurs prédictions sont constantes aux bords.
Une forêt aléatoire peut être moins adaptée lorsque les contraintes de mémoire ou de latence sont fortes, car elle est plus coûteuse qu’un arbre seul.
Arbre pour expliquer, forêt pour performer
Arbre de décision et forêt aléatoire
| Dimension | Arbre | Forêt aléatoire |
|---|---|---|
| Interprétabilité | Excellente, règles lisibles | Faible, nombreux arbres |
| Variance | Élevée et instable | Faible grâce à l’agrégation |
| Sur-apprentissage | Facile | Plus résistante |
| Coût | Très faible | Élevé |
Teste tes connaissances sur KPPV et arbres de décision avec 28 questions à choix multiples et corrections détaillées.
1. Un nouvel objet est entouré de cinq exemples d’entraînement, dont trois appartiennent à la classe A et deux à la classe B. Quelle classe le KPPV lui attribue-t-il ?
2. Pour classer un nouvel objet avec un KPPV de paramètre k, quelle opération doit être effectuée juste après le calcul de sa distance à chaque exemple d’entraînement ?
Mémorisez les concepts clés de KPPV et arbres de décision avec 85 flashcards interactives.
Comment le KPPV attribue-t-il une classe à un nouvel objet ?
Il lui attribue la classe majoritaire parmi ses voisins les plus proches.
Que calcule le KPPV pour chaque exemple d’entraînement lors d’un classement ?
La distance à l’objet à classer.
Comment le KPPV choisit-il les exemples utilisés pour classer un objet ?
Il sélectionne les exemples les plus proches.
Importe ton cours et l'IA génère fiches, QCM et flashcards en 30 secondes.
Générateur de fiches