Fiche de révision : Apprentissage automatique : données et évaluation

📋 Plan du Cours

1. Découpage des jeux de données
2. Validation croisée
3. Biais, variance et apprentissage
4. Régularisation des modèles
5. Métriques de régression
6. Métriques de classification
7. Sensibilité et spécificité
8. Courbe ROC et mesure AUC
9. Optimisation des hyperparamètres
10. Prétraitement et valeurs manquantes
11. Encodage des variables catégorielles
12. Autres techniques de feature engineering

📖 1. Découpage des jeux de données

🔑 Notions clés & Définitions

• Jeu d’entraînement : Jason Brownlee - Échantillon de données utilisé pour ajuster le modèle, qui apprend à partir de ces données.
• Jeu de validation : Jason Brownlee - Le jeu de validation sert à évaluer fréquemment un modèle entraîné et à régler ses hyperparamètres, ce qui influence indirectement sa configuration.
• Jeu de test : Jason Brownlee - Le jeu de test fournit une évaluation non biaisée du modèle final entraîné et sert généralement à comparer les modèles.

★ À maîtriser

• Tester un modèle uniquement sur les données d’entraînement ne permet pas de savoir s’il a appris une relation généralisable ou s’il a mémorisé ces données.

Compléments

• Le choix des proportions entre entraînement, validation et test dépend du nombre total d’exemples, du modèle et de son nombre d’hyperparamètres ; il peut être inutile de réserver une validation si aucun hyperparamètre n’est réglable.

• Avec train_test_split de scikit-learn, test_size=0.2 réserve 20 % des données au test, et des répartitions usuelles sont 80/20 ou 70/30.

💡 Astuce mémo

Entraînement apprend, validation règle, test tranche.

📖 2. Validation croisée

🔑 Notions clés & Définitions

• Validation croisée stratifiée : La validation croisée stratifiée construit des plis qui conservent approximativement la proportion des classes cibles du jeu complet ou, en régression, une moyenne de réponse approximativement égale entre les plis.

★ À maîtriser

• La validation croisée K-fold divise les données en k sous-ensembles, entraîne k fois le modèle sur k−1 plis et valide chaque fois sur le pli restant, puis moyenne les erreurs ; chaque exemple est validé une fois et entraîné k−1 fois.

Compléments

• Les valeurs de k généralement privilégiées en validation croisée sont 5 ou 10, sans que ces choix soient obligatoires.

📌 Les méthodes non exhaustives n’examinent pas toutes les façons de séparer l’échantillon, tandis que les méthodes exhaustives les calculent toutes.

• En validation Leave-P-Out, on laisse p observations pour la validation, on entraîne sur les n−p restantes, puis on répète l’opération pour toutes les combinaisons possibles et on moyenne les erreurs.

• La validation Leave-P-Out est exhaustive et peut devenir irréalisable en calcul lorsque p est modérément grand, car elle exige d’entraîner et de valider le modèle pour toutes les combinaisons.

📖 3. Biais, variance et apprentissage

🔑 Notions clés & Définitions

• Surapprentissage : Le surapprentissage, associé à une variance élevée, survient lorsqu’un modèle trop complexe s’ajuste trop étroitement aux données d’entraînement, y compris à leur bruit, et prédit moins bien sur des données nouvelles.
• Sous-apprentissage : Le sous-apprentissage, associé à un biais élevé, survient lorsqu’un modèle trop simple ne saisit pas les tendances des données et prédit mal, y compris sur les données d’entraînement.

★ À maîtriser

📌 Un biais élevé se diagnostique lorsque les erreurs d’entraînement et de test sont toutes deux élevées et approximativement égales.

📌 Une variance élevée se diagnostique lorsque l’erreur d’entraînement est faible et l’erreur de test nettement supérieure.

Compléments

• Quand la complexité du modèle augmente, l’erreur d’entraînement tend à diminuer, tandis que l’erreur de validation ou de test tend à diminuer jusqu’à un point puis à augmenter.

• Une courbe d’apprentissage compare les performances sur les données d’entraînement et de test selon le nombre d’exemples d’entraînement ; un plateau indique que les performances ont cessé de progresser.

📌 Des erreurs d’entraînement et de test qui convergent vers des valeurs élevées signalent un biais élevé, tandis qu’un grand écart entre les erreurs signale une variance élevée.

💡 Astuce mémo

Biais élevé : erreurs train et test hautes ; variance élevée : erreur train basse, test bien plus haute.

📖 4. Régularisation des modèles

🔑 Notions clés & Définitions

• Régularisation L2 : La régularisation L2 ajoute une pénalité proportionnelle à la somme des carrés des paramètres du modèle afin de réduire leur influence et de limiter le surapprentissage.
• Paramètre de régularisation : Le paramètre de régularisation λ détermine l’ampleur de la pénalisation appliquée aux paramètres du modèle.

★ À maîtriser

📐 Formule - La fonction de coût régularisée s’écrit $\min_{\theta} \frac{1}{2m}\sum_{i=1}^{m}(h_{\theta}(x_i)-y_i)^2+\lambda\sum_{j=1}^{n}\theta_j^2$.

Compléments

📌 Une valeur trop grande de λ lisse excessivement la fonction d’hypothèse et peut provoquer un sous-apprentissage.

• Les techniques de régularisation citées sont :
  • l’arrêt précoce
  • les pénalités de norme des paramètres : L1, L2 et max-norm
  • l’augmentation des données
  • la robustesse au bruit, dont dropout
  • les représentations creuses

💡 Astuce mémo

Pénaliser les paramètres → réduire leur poids → limiter le surapprentissage.

📖 5. Métriques de régression

🔑 Notions clés & Définitions

• Erreur quadratique moyenne : L’erreur quadratique moyenne (MSE) est la moyenne des carrés des écarts entre les valeurs prédites et les valeurs réelles.
• Erreur quadratique moyenne racine : La RMSE est la racine carrée de la MSE, ce qui exprime les erreurs dans la même unité que les valeurs cibles.
• Coefficient de détermination : Le R² mesure la proportion de la variance de la variable cible expliquée par la variance des variables prédictives ; un R² de 0,80 signifie que 80 % de la variation est expliquée par les entrées du modèle.
• Erreur absolue moyenne : L’erreur absolue moyenne (MAE) est la moyenne des valeurs absolues des écarts entre les valeurs prédites et les valeurs cibles.

★ À maîtriser

📐 Formule - La MSE se calcule par $\mathsf{MSE}=\frac{1}{m}\sum_{i=1}^{m}(\hat{y}_i-y_i)^2$, où m est le nombre d’observations.

• Le R² ajusté compense l’ajout de variables indépendantes et n’augmente que si le nouveau terme améliore le modèle davantage que ce qui serait attendu par hasard.

Compléments

• La MAE est plus robuste aux valeurs aberrantes que la MSE, car le carré des erreurs donne davantage de poids aux écarts importants.

📐 Formule - Le coefficient de détermination s’écrit $R^2=1-\frac{SS_{residual}}{SS_{total}}$, où $SS_{residual}=\sum_{i=0}^{m}(y_i-\hat{y}_i)^2$ et $SS_{total}=\sum_{i=0}^{m}(y_i-\bar{y}_i)^2$.

📐 Formule - Le R² ajusté en fonction du nombre m d’observations et du nombre p de prédicteurs vaut $R^2_{adjusted}=1-\frac{(1-R^2)(m-1)}{m-p-1}$.

• Le R² ajusté peut être négatif, ce qui indique généralement un mauvais ajustement du modèle aux données.

📖 6. Métriques de classification

🔑 Notions clés & Définitions

• Matrice de confusion : La matrice de confusion compare les prédictions du modèle aux étiquettes réelles ; ses lignes représentent les classes prédites, ses colonnes les classes réelles, sa diagonale les prédictions correctes et ses autres cases les erreurs.
• Précision : La précision est la proportion de prédictions positives qui sont réellement positives, soit $\mathsf{Precision}=\frac{TP}{TP+FP}$.
• Rappel : Le rappel est la proportion des exemples d’une classe correctement prédits par le modèle, soit $\mathsf{Recall}=\frac{TP}{TP+FN}$.
• Score F1 : Le score F1 est la moyenne harmonique de la précision et du rappel, $\mathsf{F1}=2\frac{\mathsf{Precision}\cdot\mathsf{Recall}}{\mathsf{Precision}+\mathsf{Recall}}$.

★ À maîtriser

📐 Formule - L’exactitude (accuracy) est $\frac{TP+TN}{TP+TN+FP+FN}$ ; dans l’exemple des chats, elle vaut 1030/1100, soit 93,6 %.

Compléments

• Dans l’exemple de classification des images de chats, la matrice de confusion donne 90 vrais positifs, 10 faux négatifs, 940 vrais négatifs et 60 faux positifs.

• Dans l’exemple, la précision pour la classe chat est de 60 % et celle de la classe non-chat est de 98,9 %.

• Dans l’exemple, le rappel est de 90 % pour la classe chat et de 94 % pour la classe non-chat.

• Le score F1 est le cas particulier du score Fβ où β=1 ; β permet de pondérer le rappel comme β fois aussi important que la précision.

📐 Formule - Le score Fβ se définit par $F_{\beta}=(1+\beta^2)\frac{\mathsf{Precision}\cdot\mathsf{Recall}}{\beta^2\mathsf{Precision}+\mathsf{Recall}}$.

• Dans l’exemple de classification des chats, avec une précision de 0,6 et un rappel de 0,9, le score F1 est de 72 %.

• La précision et le rappel présentent un compromis : augmenter fortement la précision peut faire baisser le rappel, et inversement.

💡 Astuce mémo

Précision : parmi les prédictions positives ; rappel : parmi les positifs réels.

📖 7. Sensibilité et spécificité

📝 Points essentiels

📐 Formule - La sensibilité, aussi appelée rappel ou taux de vrais positifs (TPR), se calcule par $\frac{TP}{TP+FN}$.

📐 Formule - La spécificité, aussi appelée taux de vrais négatifs (TNR), se calcule par $\frac{TN}{TN+FP}$.

📖 8. Courbe ROC et mesure AUC

🔑 Notions clés & Définitions

• Courbe ROC : Représentation du taux de vrais positifs (TPR) en fonction du taux de faux positifs (FPR) pour différentes valeurs de seuil d’un classificateur binaire.
• AUC : Aire sous la courbe ROC et mesure agrégée des performances d’un classificateur binaire sur tous les seuils possibles ; elle est indépendante du seuil et comprise entre 0 et 1.

★ À maîtriser

• Abaisser le seuil de la classe positive tend à augmenter à la fois le taux de vrais positifs (rappel) et le taux de faux positifs.

Compléments

• Pour un modèle probabiliste, la classe positive est prédite lorsque sa probabilité dépasse le seuil choisi ; sinon, le modèle prédit la classe négative.

• L’AUC peut s’interpréter comme la probabilité qu’un exemple positif choisi au hasard soit classé plus haut qu’un exemple négatif choisi au hasard.

📌 Si le besoin métier impose un rappel minimal, le seuil peut être ajusté pour satisfaire cette exigence, même si l’AUC n’est pas maximale.

💡 Astuce mémo

La ROC varie avec le seuil ; l’AUC agrège tous les seuils.

📖 9. Optimisation des hyperparamètres

🔑 Notions clés & Définitions

• Recherche d’hyperparamètres : Optimisation visant à trouver la combinaison de valeurs qui minimise une fonction, comme la perte, ou maximise une mesure, comme l’exactitude.
• Recherche sur grille : Méthode qui teste les combinaisons formées à partir de valeurs candidates définies pour chaque hyperparamètre.
• Recherche aléatoire : Méthode qui échantillonne des combinaisons d’hyperparamètres, sans tester nécessairement toutes les valeurs, et dont le nombre d’itérations est défini par n_iter dans RandomizedSearchCV.

★ À maîtriser

📌 Les hyperparamètres sont fixés par l’utilisateur avant l’entraînement, tandis que les paramètres du modèle sont appris pendant l’entraînement.

Compléments

• Dans scikit-learn, GridSearchCV utilise le paramètre cv pour définir les plis de validation croisée et verbose pour contrôler l’affichage d’informations pendant l’exécution.

📌 La recherche aléatoire est recommandée lorsque l’espace de recherche comporte plus de trois dimensions, car elle peut explorer davantage de valeurs pour chaque hyperparamètre.

📖 10. Prétraitement et valeurs manquantes

🔑 Notions clés & Définitions

• Fuite de données : Partage accidentel d’informations entre les données d’entraînement et les données de test, ce qui peut rendre les performances de test peu représentatives des performances en conditions réelles.

★ À maîtriser

📌 Pour éviter une fuite lors du prétraitement, il faut ajuster la transformation sur les données d’entraînement seulement, puis appliquer cette transformation aux données de test.

📐 Formule - La transformation MinMaxScaler est définie par $x'=\frac{x-\min(x)}{\max(x)-\min(x)}$ et ramène les valeurs entre 0 et 1.

Compléments

• La suppression des lignes ou des colonnes comportant des valeurs manquantes est une solution simple, et le cours donne 50 % comme seuil d’exemple sans en faire un seuil optimal universel.

• L’imputation préserve la taille des données, tandis que la suppression des observations manquantes la réduit.

• Pour les variables numériques, la médiane est une méthode d’imputation courante, car elle est moins sensible aux valeurs aberrantes que la moyenne.

• Pour une variable catégorielle, les valeurs manquantes peuvent être remplacées par la catégorie la plus fréquente ou, si aucune catégorie ne domine, par une catégorie comme « Other ».

• La mise à l’échelle des variables continues est nécessaire en entrée pour les algorithmes fondés sur les distances, comme k-NN et k-means.

📖 11. Encodage des variables catégorielles

🔑 Notions clés & Définitions

• Encodage par étiquettes : Méthode qui attribue aux catégories des valeurs numériques comprises entre 0 et le nombre de classes moins 1.
• Encodage one-hot : Méthode qui remplace les catégories d’une variable par des colonnes indicatrices binaires contenant 0 ou 1, principalement utilisée pour les données nominales.

★ À maîtriser

📌 Les variables nominales désignent des catégories sans ordre, les variables dichotomiques ont deux niveaux et les variables ordinales possèdent des catégories ordonnables.

Compléments

📌 L’encodage par étiquettes convient mieux aux variables ordinales et peut être utilisé lorsque le nombre de variables catégorielles est élevé.

• Avec OneHotEncoder, drop permet de supprimer une catégorie par variable, notamment lorsque des variables parfaitement colinéaires posent problème.

📌 Avec OneHotEncoder, handle_unknown='ignore' transforme une catégorie inconnue en colonnes encodées toutes égales à zéro, tandis que la valeur par défaut 'error' déclenche une erreur.

💡 Astuce mémo

Label pour l’ordinal ; one-hot pour le nominal.

📖 12. Autres techniques de feature engineering

★ À maîtriser

📌 La méthode univariée recherche des valeurs extrêmes sur une variable, tandis que la méthode multivariée recherche des combinaisons inhabituelles sur plusieurs variables.

📌 Les intervalles de largeur égale ont des bornes fixes et couvrent la même étendue de valeurs, tandis que les intervalles par quantiles contiennent le même nombre de points et ont des bornes variables.

Compléments

• La détection des valeurs aberrantes est préférable par visualisation, car les autres méthodes statistiques peuvent se tromper.

• L’erreur de Minkowski réduit l’influence des valeurs aberrantes sans les détecter ni les supprimer, en élevant les erreurs à une puissance inférieure à 2, par exemple 1,5.

📌 Pour des données asymétriques, le cours recommande d’essayer le découpage en intervalles par quantiles plutôt que des intervalles de largeur égale.

• La transformation logarithmique peut réduire l’asymétrie des données, rapprocher leur distribution d’une distribution normale et diminuer l’effet des valeurs aberrantes.

📌 La transformation logarithmique exige des valeurs positives ; ajouter 1 aux données avant la transformation est une possibilité mentionnée pour garantir des valeurs positives.

💡 Astuce mémo

Bornes égales : même largeur ; quantiles : même nombre de points.

📊 Tableaux de synthèse

Méthodes d’encodage catégoriel