Fiche de révision : Principes fondamentaux de l'apprentissage automatique

📋 Plan du Cours

1. Statistique descriptive
2. Statistique inférentielle
3. Données d'apprentissage
4. Fonction de perte
5. Validation croisée
6. Overfitting
7. Régularisation
8. Hyperparamètres
9. Algorithme du gradient
10. Validation de modèles

📖 1. Statistique descriptive

🔑 Notions clés & Définitions

• Statistique descriptive : Ensemble de techniques permettant de résumer, d'organiser et de présenter de manière synthétique les données observées, afin de faciliter leur compréhension. Elle ne vise pas à faire des inférences sur la population, mais à décrire les données brutes.

• Techniques de résumé : Méthodes telles que les mesures de tendance centrale (moyenne, médiane) et de dispersion (écart-type, variance, étendue) qui condensent l'information contenue dans un ensemble de données.

• Présentation des résultats : Utilisation de tableaux, graphiques (histogrammes, diagrammes en boîte, nuages de points) pour illustrer visuellement les caractéristiques principales des données, facilitant leur interprétation.

• Objectif de la statistique : Extraire des informations pertinentes à partir de données brutes difficiles à interpréter par une simple lecture, en rendant ces données compréhensibles pour tous.

• Différence avec la statistique inférentielle : La statistique descriptive se limite à décrire et résumer les données, tandis que la statistique inférentielle (voir section 2) vise à tirer des conclusions ou faire des prédictions sur une population à partir d’un échantillon.

📝 Points essentiels

• La statistique descriptive ne fait pas d'estimations ou de généralisation, elle se concentre sur la synthèse des données observées.

• Les mesures de tendance centrale (moyenne, médiane, mode) permettent de repérer le centre de la distribution des données.

• Les mesures de dispersion (écart-type, variance, étendue) renseignent sur la variabilité ou la concentration des données autour du centre.

• Les représentations graphiques, comme l'histogramme ou la boîte à moustaches, offrent une visualisation claire des distributions, des asymétries ou des valeurs extrêmes.

• La présentation efficace des résultats statistiques est essentielle pour une communication claire et une interprétation correcte des données.

• La distinction fondamentale avec la statistique inférentielle est que cette dernière utilise des techniques probabilistes pour faire des estimations ou tester des hypothèses (voir section 2).

💡 À retenir

La statistique descriptive est la première étape dans l'analyse de données, permettant de résumer et de visualiser les caractéristiques principales d’un ensemble de données, sans faire d’inférences sur la population.

📖 2. Statistique inférentielle

🔑 Notions clés & Définitions

• Risque ou erreur de généralisation : Espérance de la fonction de perte sur la distribution inconnue des données, représentant la performance moyenne d’un modèle sur de nouvelles données non observées.
• Estimation du risque empirique : Calcul de la moyenne de la fonction de perte sur l’échantillon d’apprentissage, utilisée comme approximation du risque sur la distribution inconnue.
• Approche inférentielle : Méthode visant à déduire des propriétés ou des performances d’un modèle sur la population à partir de l’échantillon, en utilisant des techniques statistiques pour estimer le risque ou la performance.
• Limites du risque empirique : La sous-estimation du risque réel due à l’utilisation de l’échantillon d’apprentissage pour l’évaluation, car il ne reflète pas parfaitement la distribution inconnue.
• Fonction de prévision optimale théorique : Fonction qui minimise le risque attendu, dépendant de la loi inconnue des données, souvent appelée règle de Bayes dans le contexte de la classification.

📝 Points essentiels

• La performance d’un modèle est évaluée par le risque ou erreur de généralisation, qui correspond à l’espérance de la fonction de perte sur la distribution réelle des données (inconnue en pratique).
• La méthode d’estimation du risque empirique consiste à calculer la moyenne de la fonction de perte sur l’échantillon d’apprentissage, mais cette estimation peut être biaisée ou sous-estimée en raison de la dépendance à l’échantillon utilisé.
• La théorie inférentielle cherche à relier la performance sur l’échantillon à la performance sur la population, en utilisant des techniques probabilistes et des bornes pour quantifier l’incertitude.
• La fonction de prévision optimale, souvent la règle de Bayes, dépend de la loi inconnue des données, ce qui pose un problème pratique d’estimation. En pratique, on doit approcher cette fonction à partir des données disponibles.
• La limite du risque empirique réside dans le fait qu’il tend à sous-estimer le risque vrai, nécessitant des méthodes comme la validation croisée ou la régularisation pour une meilleure estimation.

💡 À retenir

La statistique inférentielle vise à estimer la performance d’un modèle sur la distribution inconnue des données en utilisant des techniques d’estimation et de borne, tout en tenant compte des limites liées à l’échantillonnage et à l’incertitude.

📖 3. Données d'apprentissage

🔑 Notions clés & Définitions

• Données d'apprentissage : Ensemble d'exemples (xi, yi) utilisés pour entraîner un modèle, permettant à l'algorithme d'apprentissage de développer une fonction capable de faire des prédictions ou classifications (voir introduction).
• Ensemble d'entraînement : Sous-ensemble de données utilisé pour ajuster ou apprendre le modèle, généralement constitué d'environ 80% des données disponibles (voir introduction).
• Ensemble de test : Sous-ensemble de données distinct de l'entraînement, utilisé pour évaluer la performance et la généralisation du modèle (voir introduction).
• Types d'apprentissage : Classification des méthodes selon la disponibilité des étiquettes (yi) :
  • Supervisé : Toutes les yi sont observées, objectif d'expliquer ou prédire y à partir de x (voir cadre mathématique).
  • Non supervisé : Aucun yi n'est connu, objectif d'établir une typologie ou structure des données x (voir cadre mathématique).
  • Semi-supervisé : Certaines yi sont observées, d'autres non, combinant les deux approches (voir cadre mathématique).
• Notion d'entrée (xi) et cible (yi) : xi représente les variables explicatives ou caractéristiques de l'objet d'étude, yi la caractéristique à prédire ou expliquer, pouvant être discrète ou continue (voir cadre mathématique).

📝 Points essentiels

• La collecte de données d'apprentissage doit être représentative de la population ou du phénomène étudié pour assurer la qualité du modèle (voir introduction).
• La partition en ensemble d'entraînement et de test permet d'éviter le surapprentissage (overfitting) et d'évaluer la capacité de généralisation du modèle (voir cadre mathématique).
• En apprentissage supervisé, la variable yi peut être continue (régression) ou discrète (classification), influençant le choix de la méthode et de la fonction de perte (voir cadre mathématique).
• La qualité des données d'apprentissage impacte directement la performance du modèle final, soulignant l'importance de la représentativité et de la qualité des exemples (voir introduction).
• La notion d'indépendance des observations est fondamentale pour garantir la validité des estimations et des évaluations de performance (voir cadre mathématique).

💡 À retenir

Les données d'apprentissage sont le socle de tout modèle statistique ou d'apprentissage automatique ; leur qualité, leur représentativité et leur partitionnement déterminent la capacité du modèle à généraliser et à faire des prédictions fiables.

📖 4. Fonction de perte

🔑 Notions clés & Définitions

• Fonction de perte (ou fonction de coût) : mesure quantitative de la qualité d'une prédiction effectuée par un modèle. Elle évalue l'écart entre la valeur prédite et la valeur réelle, permettant de guider l'optimisation du modèle.
• Propriété de la fonction de perte : elle est nulle si la prédiction est exacte (l(y, y′) = 0 si y = y′) et positive sinon, ce qui incite à minimiser cette valeur pour améliorer la précision.
• Lien avec le risque à minimiser : la fonction de perte sert à définir le risque (ou erreur de généralisation) d’un modèle, qui est l’espérance de la perte sur la distribution inconnue des données. La minimisation de la fonction de perte conduit à la minimisation du risque.
• Exemple de fonction de perte quadratique : pour la régression, l : R × R → R+ (y, y′) → (y − y′)², où la perte est le carré de l’erreur entre la prédiction et la valeur réelle.
• Rôle central dans l’optimisation : la fonction de perte est utilisée pour ajuster les paramètres du modèle lors de l’apprentissage, en cherchant à réduire la valeur globale de la perte sur l’ensemble d’entraînement.
• Auteur : Clémençon et al. (2008) : la fonction de perte permet de définir un score à optimiser pour améliorer la performance prédictive.

📝 Points essentiels

• La fonction de perte est essentielle pour quantifier la performance d’un modèle en apprentissage supervisé.
• La propriété de nullité si prédiction exacte garantit que le modèle doit s’efforcer de réduire l’écart entre prédictions et valeurs réelles.
• La fonction de perte quadratique est couramment utilisée en régression, avec une interprétation en termes de biais et de variance, et son optimum est la fonction de régression conditionnelle m(X) = E(Y | X).
• La minimisation de la fonction de perte conduit à la recherche du modèle optimal selon le critère de risque, qui est l’espérance de la perte.
• La fonction de perte doit être choisie en fonction du type de problème (régression, classification, scoring) pour assurer une convergence vers la meilleure approximation possible.

💡 À retenir

La fonction de perte est le cœur de l’apprentissage supervisé, car elle guide l’optimisation du modèle en mesurant l’écart entre prédictions et valeurs réelles, permettant ainsi de minimiser l’erreur globale.

📖 5. Validation croisée

🔑 Notions clés & Définitions

• Validation croisée : Technique d’évaluation de la performance d’un modèle en partitionnant les données en plusieurs sous-ensembles, puis en entraînant et validant le modèle de manière itérative sur ces sous-ensembles, afin d’obtenir une estimation plus fiable du risque empirique.
• Risque empirique : Estimation de la performance d’un modèle basée sur la moyenne de la fonction de perte calculée sur l’échantillon d’entraînement, susceptible de sous-estimer le risque réel (voir section 4). La validation croisée permet d’atténuer cette sous-estimation.
• Alternatives comme Bootstrap : Méthodes statistiques permettant d’estimer la performance d’un modèle en rééchantillonnant les données (voir section 4). Ces techniques complètent ou remplacent la validation croisée pour l’évaluation de la performance.
• Application à la sélection de modèles : La validation croisée est utilisée pour comparer et choisir le modèle le plus performant parmi plusieurs candidats, en évitant le surapprentissage (overfitting).

📝 Points essentiels

• La validation croisée consiste à diviser l’ensemble de données en plusieurs sous-ensembles (folds). Le modèle est entraîné sur certains folds et testé sur les autres, puis cette procédure est répétée pour chaque partition, permettant d’obtenir une estimation robuste du risque.
• K-fold : La méthode la plus courante, où l’échantillon est divisé en K parties égales. Le modèle est entraîné sur K-1 parties et validé sur la partie restante, puis le processus est répété K fois. La performance finale est la moyenne des performances sur chaque fold.
• La validation croisée évite la sous-estimation du risque empirique en utilisant des données non vues lors de l’entraînement pour l’évaluation, contrairement à l’évaluation sur l’ensemble d’entraînement seul.
• Elle est particulièrement utile pour la sélection de modèles, en permettant d’évaluer la stabilité et la généralisation d’un modèle sans recourir à un ensemble de test indépendant.
• Alternatives comme Bootstrap : Consistent à créer plusieurs échantillons de rééchantillonnage avec remise, pour estimer la performance, et sont souvent utilisées en complément ou en substitution de la validation croisée.

💡 À retenir

La validation croisée est une méthode essentielle pour estimer la performance d’un modèle de manière fiable et éviter la sous-estimation du risque empirique, notamment lors de la sélection de modèles ou de l’évaluation de leur généralisation.

📖 6. Overfitting

🔑 Notions clés & Définitions

• Overfitting (surapprentissage) : phénomène où un modèle s'ajuste excessivement aux données d'entraînement, capturant le bruit plutôt que la tendance générale, ce qui nuit à sa capacité à généraliser sur de nouvelles données.
• Capacité du modèle : aptitude d’un modèle à apprendre "par cœur" l'ensemble des données d'entraînement, souvent liée à la complexité du modèle (ex : valeur de p en régression polynomiale). Plus la capacité est grande, plus le risque d’overfitting augmente.
• Lien entre hyperparamètres et overfitting : la valeur des hyperparamètres (λ, p, etc.) influence la capacité du modèle. Une capacité excessive favorise le surapprentissage, tandis qu’une capacité contrôlée favorise la généralisation (voir PERROUX, 2000).
• Régularisation (ou pénalisation) : technique visant à réduire la capacité du modèle en ajoutant un terme de pénalité dans la fonction de perte, limitant ainsi l’ajustement excessif aux données d’entraînement (ex : régularisation L2).
• Relation avec la validation croisée : méthode permettant d’évaluer la performance du modèle sur des sous-ensembles de données pour détecter le surapprentissage et ajuster les hyperparamètres en conséquence (voir KOHAVI, 1995).

📝 Points essentiels

• Le surapprentissage survient lorsque la capacité du modèle est trop grande par rapport à la quantité et la qualité des données, ce qui entraîne une faible erreur d’entraînement mais une mauvaise performance sur de nouvelles données.
• La complexité du modèle, souvent contrôlée par des hyperparamètres comme p en régression polynomiale ou λ en régularisation, doit être équilibrée pour éviter le surapprentissage.
• Plus la capacité du modèle augmente, plus la différence entre erreur d’entraînement et erreur de test s’accroît, ce qui indique un mauvais pouvoir de généralisation.
• La régularisation permet de limiter cette capacité en pénalisant la magnitude des coefficients (ex : ∥β∥²), ce qui réduit l’écart entre erreur d’entraînement et erreur de test.
• La sélection de modèle, notamment par validation croisée, est essentielle pour détecter et prévenir l’overfitting, en choisissant la valeur optimale des hyperparamètres.
• AUTEUR (PERROUX, 2000) : la capacité d’un modèle doit être ajustée pour équilibrer biais et variance, afin d’éviter le surapprentissage tout en conservant une bonne adaptation aux données.

💡 À retenir

L’overfitting est un phénomène où un modèle trop complexe s’ajuste aux données d’entraînement au point de perdre sa capacité à généraliser, ce qui peut être évité par la régularisation et la validation croisée.

📖 7. Régularisation

🔑 Notions clés & Définitions

• Régularisation : Technique visant à contrôler la complexité d’un modèle en ajoutant un terme de pénalité dans la fonction de perte, afin d’éviter le surapprentissage (overfitting). Elle favorise des modèles plus simples et plus généralisables.
• Terme de pénalité : Composante ajoutée à la fonction de perte pour régulariser le modèle. Elle pénalise la magnitude des paramètres du modèle, limitant ainsi leur croissance excessive.
• Régularisation L1 (Lasso) : Méthode de régularisation qui ajoute à la fonction de perte la somme des valeurs absolues des coefficients (|β|). Elle favorise la sparsité, c’est-à-dire la suppression de certains coefficients en les ramenant à zéro.
• Régularisation L2 (Ridge) : Ajoute à la fonction de perte la somme des carrés des coefficients (β²). Elle tend à réduire la magnitude des coefficients sans les annuler complètement, favorisant la stabilité du modèle.
• Effet de la régularisation : La régularisation réduit l’overfitting en limitant la complexité du modèle, ce qui améliore sa capacité de généralisation sur de nouvelles données.
• Choix du paramètre de régularisation : La force de la pénalité est contrôlée par un hyperparamètre (λ ou α). Son ajustement est crucial : une régularisation trop forte peut sous-adapter le modèle, une régularisation trop faible ne limite pas suffisamment la complexité.

📝 Points essentiels

• La régularisation intervient en ajoutant un terme de pénalité dans la fonction de perte, ce qui modifie la démarche d’optimisation pour favoriser des solutions plus simples.
• La régularisation L1 (Lasso), introduite dans le cadre de la sélection de variables, permet d’obtenir des modèles parcimonieux en forçant certains coefficients à zéro, facilitant l’interprétation.
• La régularisation L2 (Ridge), souvent utilisée pour stabiliser l’estimation des paramètres, limite la croissance des coefficients sans les annuler, ce qui est utile lorsque toutes les variables ont une importance potentielle.
• La régularisation permet de réduire l’overfitting, en évitant que le modèle ne s’adapte trop précisément aux données d’apprentissage, ce qui améliore la performance sur des données nouvelles.
• Le choix du paramètre de régularisation (hyperparamètre) doit être effectué via des techniques comme la validation croisée, pour équilibrer biais et variance.
• La régularisation est souvent combinée avec d’autres techniques de contrôle de la complexité, comme la sélection de modèle ou la validation croisée, pour optimiser la performance globale.

💡 À retenir

La régularisation, en ajoutant un terme de pénalité dans la fonction de perte, permet de contrôler la complexité du modèle et de réduire l’overfitting, améliorant ainsi sa capacité de généralisation. Le choix du paramètre de régularisation est essentiel pour équilibrer biais et variance.

📖 8. Hyperparamètres

🔑 Notions clés & Définitions

• Hyperparamètres : paramètres fixés avant l'entraînement du modèle, qui contrôlent le processus d'apprentissage et la structure du modèle. AUTEUR (date) : « paramètres définis avant l'entraînement, influençant la convergence et la performance ».
• Taux d'apprentissage : hyperparamètre déterminant la taille des ajustements lors de la mise à jour des paramètres du modèle dans les algorithmes d'optimisation (ex. descente de gradient). AUTEUR (date) : « influence la vitesse et la stabilité de la convergence ».
• Méthodes d'optimisation des hyperparamètres : techniques telles que la recherche en grille ou la recherche aléatoire permettant de sélectionner la meilleure configuration d'hyperparamètres. AUTEUR (date) : « outils essentiels pour améliorer la performance du modèle en évitant le surajustement ou sous-ajustement ».
• Validation croisée : méthode d’évaluation des configurations d’hyperparamètres en partitionnant les données pour tester différentes combinaisons, afin d’éviter le surapprentissage sur l’échantillon d’entraînement. AUTEUR (date) : « lien crucial pour l’évaluation fiable des hyperparamètres ».

📝 Points essentiels

• La sélection des hyperparamètres est déterminante pour la performance finale du modèle, car ils influencent la capacité d’apprentissage et la généralisation (voir section 3).
• La recherche d’hyperparamètres s’effectue souvent via des méthodes systématiques comme la grille ou la recherche aléatoire, combinées avec la validation croisée pour éviter le surajustement.
• La fixation inadéquate des hyperparamètres peut entraîner un sous-apprentissage (hyperparamètres mal choisis, trop restrictifs) ou un surapprentissage (hyperparamètres trop permissifs, entraînant un surajustement).
• La régularisation, qui est un hyperparamètre, joue un rôle clé dans la gestion du compromis biais-variance, en contrôlant la complexité du modèle (voir section 7).
• La démarche d’optimisation des hyperparamètres est itérative et nécessite souvent plusieurs essais pour atteindre une configuration optimale.

💡 À retenir

Les hyperparamètres, fixés avant l’entraînement, sont essentiels pour ajuster la capacité d’un modèle à apprendre efficacement tout en évitant le surajustement ; leur optimisation via des méthodes comme la recherche en grille ou la recherche aléatoire, en lien avec la validation croisée, est cruciale pour maximiser la performance.

📖 9. Algorithme du gradient

🔑 Notions clés & Définitions

• Algorithme du gradient : méthode itérative visant à minimiser une fonction de perte en ajustant ses paramètres dans la direction opposée au gradient de cette fonction par rapport aux paramètres, permettant une convergence vers un minimum local ou global.
• Calcul du gradient : opération mathématique consistant à déterminer le vecteur de dérivées partielles de la fonction de perte par rapport à ses paramètres, indiquant la direction de la pente la plus forte.
• Mise à jour des paramètres : étape où, à chaque itération, les paramètres sont ajustés en soustrayant une fraction du gradient (taux d'apprentissage), afin de réduire la valeur de la fonction de perte.
• Convergence : processus par lequel l'algorithme atteint un point où la variation des paramètres devient négligeable, ou la valeur de la fonction de perte ne diminue plus significativement, indiquant un minimum local ou global.
• Variantes : adaptations de l'algorithme du gradient, notamment la descente de gradient stochastique (SGD), où le gradient est estimé à partir d’un seul exemple ou d’un mini-batch, et la mini-batch où le gradient est calculé sur un sous-ensemble de données pour équilibrer précision et vitesse.

📝 Points essentiels

• L'algorithme du gradient est une méthode itérative pour optimiser une fonction de perte en ajustant les paramètres dans la direction opposée au gradient, ce qui permet de minimiser la fonction.
• Le calcul du gradient est crucial : il indique la pente de la fonction de perte et guide la mise à jour des paramètres. La dérivée partielle de la fonction par rapport à chaque paramètre est utilisée pour cette étape.
• La mise à jour s’effectue selon la formule :
  $\theta_{k+1} = \theta_k - \eta \nabla_\theta L(\theta_k)$
  où $\eta$ est le taux d’apprentissage, $\nabla_\theta L(\theta_k)$ le gradient de la fonction de perte à l’itération $k$.
• La convergence dépend du choix du taux d’apprentissage : trop élevé, elle peut diverger ; trop faible, la convergence sera lente.
• Les variantes comme la descente de gradient stochastique (SGD) permettent d’accélérer l’apprentissage en utilisant une estimation du gradient sur un seul exemple ou un mini-batch, ce qui est particulièrement utile pour de grands ensembles de données.
• La convergence vers un minimum local ou global dépend de la forme de la fonction de perte et de l’initialisation des paramètres.

💡 À retenir

L’algorithme du gradient est une méthode efficace pour optimiser des fonctions de perte complexes, en ajustant itérativement les paramètres dans la direction de la plus forte diminution, avec des variantes adaptées à la taille des données et à la vitesse de convergence souhaitée.

📖 10. Validation de modèles

🔑 Notions clés & Définitions

• Validation de modèles : Processus d’évaluation de la performance d’un modèle sur des données non utilisées lors de l’entraînement, afin de mesurer sa capacité de généralisation (voir ensemble de test).
• Ensemble de test : Sous-ensemble de données distinct de l’ensemble d’entraînement, utilisé pour mesurer la performance réelle d’un modèle sur des données inédites (voir section 3).
• Validation croisée : Technique consistant à partitionner les données en plusieurs sous-ensembles pour entraîner et valider le modèle de manière itérative, afin d’éviter le biais d’évaluation et de mieux estimer la performance (voir section 5).
• Critères de sélection de modèles : Métriques ou estimations basées sur la performance sur l’ensemble de validation ou de test, permettant de choisir le modèle le plus performant et de prévenir l’overfitting (voir section 3).
• Biais d’évaluation : Erreur introduite lorsque la performance estimée d’un modèle est optimiste ou pessimiste, notamment si l’évaluation est faite sur les mêmes données d’entraînement (voir section 6).
• Performance estimée : Mesure de la capacité d’un modèle à généraliser, calculée à partir de techniques comme la validation croisée ou le bootstrap, pour éviter la sous-estimation du risque (voir section 5).

📝 Points essentiels

• La validation de modèles est cruciale pour garantir la capacité de généralisation d’un modèle, en évitant l’overfitting qui survient lorsque le modèle s’adapte trop aux données d’entraînement, au détriment de nouvelles données (voir section 6).
• L’utilisation exclusive de l’ensemble d’entraînement pour évaluer la performance peut conduire à une estimation biaisée, favorisant des modèles surajustés. La séparation claire entre données d’entraînement et de test est essentielle.
• La validation croisée, notamment la validation k-fold, permet d’obtenir une estimation plus fiable de la performance en utilisant plusieurs partitions des données, réduisant ainsi le biais d’évaluation (voir section 5).
• La sélection du modèle repose sur des critères de performance tels que la perte ou le score, estimés sur l’ensemble de validation ou via validation croisée, pour choisir le modèle qui offre la meilleure généralisation.
• La validation doit être intégrée dans la démarche d’apprentissage pour éviter l’overfitting, en utilisant des techniques comme la validation croisée ou le bootstrap pour ajuster les hyperparamètres et sélectionner le modèle optimal (voir section 8).

💡 À retenir

La validation de modèles, notamment via la validation croisée, est essentielle pour estimer la performance réelle d’un modèle sur des données inédites, permettant de prévenir l’overfitting et d’assurer une bonne généralisation.

📊 Tableaux de Synthèse

⚠️ Pièges & Confusions Fréquentes

1. Confondre statistique descriptive et inférentielle : la première ne fait que résumer, la seconde tire des conclusions ou prévisions.
2. Sous-estimer l’importance de la représentativité des données d’apprentissage pour la généralisation.
3. Confondre risque empirique (sur l’échantillon) et risque vrai (sur la population).
4. Croire que la fonction de perte est toujours convex ou simple à optimiser, alors que certaines sont non convexes.
5. Négliger l’impact du surapprentissage (overfitting) si la validation croisée n’est pas utilisée.
6. Confondre régularisation et hyperparamètres : la régularisation est une technique, les hyperparamètres sont des réglages.
7. Surestimer la capacité d’un modèle complexe à éviter le surapprentissage sans validation rigoureuse.
8. Oublier que la performance sur l’échantillon d’entraînement ne garantit pas la performance sur de nouvelles données.
9. Confondre la fonction de perte avec la métrique d’évaluation finale (ex : précision, rappel).
10. Négliger l’impact de la qualité des données (bruit, valeurs manquantes) sur la performance du modèle.

✅ Checklist Examen

1. Connaître la définition de PERROUX sur la croissance et sa distinction avec la statistique descriptive.
2. Savoir différencier la statistique descriptive de la statistique inférentielle, en précisant leurs objectifs.
3. Maîtriser les mesures de tendance centrale et de dispersion, et leur utilisation pour résumer une distribution.
4. Être capable d’interpréter un histogramme ou une boîte à moustaches.
5. Expliquer la notion de risque ou erreur de généralisation selon Vapnik.
6. Définir l’estimation du risque empirique et ses limites.
7. Connaître la règle de Bayes et son rôle dans la fonction de prévision optimale.
8. Identifier les différents types de données d’apprentissage : supervisé, non supervisé, semi-supervisé.
9. Comprendre l’importance de la représentativité et de la qualité des données pour la généralisation.
10. Savoir ce qu’est une fonction de perte, avec exemples (MSE, log-loss).
11. Expliquer le concept d’overfitting et comment la validation croisée permet de le détecter.
12. Connaître la différence entre régularisation et hyperparamètres, et leur rôle dans l’apprentissage.
13. Maîtriser la notion de risque empirique et ses bornes pour l’estimation du risque vrai.
14. Savoir comment la performance d’un modèle est évaluée sur un ensemble de test.
15. Comprendre l’impact de la qualité des données sur la performance du modèle.
16. Vérifier la maîtrise du vocabulaire spécifique : biais, variance, surapprentissage, régularisation, validation croisée.