Le jeu d’entraînement
Explication
Le jeu d’entraînement fournit les exemples à partir desquels le modèle apprend directement ses paramètres. Le jeu de validation sert plutôt à régler les hyperparamètres, tandis que le jeu de test évalue le modèle final.
Le jeu de test
Explication
Le jeu de test est réservé à l’évaluation finale du modèle complètement entraîné et constitue une référence pour comparer les modèles. Le jeu de validation intervient avant cette étape pour guider le réglage des hyperparamètres.
Chaque sous-ensemble sert successivement à valider, tandis que les autres servent à entraîner, puis les erreurs sont moyennées.
Explication
La validation k-fold utilise successivement chaque sous-ensemble comme validation et les autres comme entraînement, avant de moyenner les erreurs. Une séparation fixe en deux groupes ne correspond pas à cette rotation systématique des partitions.
Préserver approximativement les proportions des classes dans chaque sous-ensemble
Explication
La validation stratifiée construit des sous-ensembles qui conservent approximativement les proportions de classes de l’ensemble complet. La validation k-fold simple ne garantit pas cette représentation, et les valeurs de k ne sont pas imposées par la stratification.
Le processus de division des données en jeux d'entraînement, de validation et de test pour évaluer et ajuster un modèle.
Explication
Le découpage des données consiste à diviser l'ensemble en plusieurs jeux (entraînement, validation, test) pour permettre une évaluation fiable du modèle. La réduction de dimension ou la normalisation sont des techniques différentes qui ne concernent pas la division des données.
80 % pour l'entraînement et 20 % pour le test
Explication
La répartition courante pour l'entraînement et le test est de 80/20, permettant un bon compromis entre apprentissage et évaluation. La répartition 70/30 est aussi fréquemment utilisée, mais 80/20 reste une norme classique.
Elle permet d’évaluer la performance du modèle de manière non biaisée en utilisant différentes partitions des données.
Explication
La validation croisée divise les données en plusieurs sous-ensembles, entraîne et valide le modèle sur des partitions différentes, puis moyenne les erreurs pour une évaluation non biaisée. Elle ne remplace pas le jeu de test, qui fournit l’évaluation finale.
Après l’entraînement pour mesurer l’erreur dans la même unité que la variable cible
Explication
La RMSE est utilisée après l’entraînement pour mesurer l’erreur dans la même unité que la variable cible, facilitant l’interprétation. Elle n’est pas utilisée pour ajuster directement le modèle ou lors de la validation croisée.
La précision mesure la fiabilité des prédictions positives, tandis que le recall mesure la capacité à détecter tous les positifs réels.
Explication
La précision indique la fiabilité des prédictions positives en mesurant la proportion de vrais positifs parmi toutes les prédictions positives, tandis que le recall indique la capacité du modèle à détecter tous les positifs réels. La différence réside dans leur focus : fiabilité versus couverture.
Ron Kohavi
Explication
Ron Kohavi est crédité d'avoir popularisé la méthode de validation croisée k-fold, qui permet d'évaluer la performance d'un modèle en le divisant en plusieurs sous-ensembles. Les autres chercheurs ont contribué à d'autres aspects de l'apprentissage automatique, mais pas spécifiquement à cette technique.
Un sous-ajustement ou un surajustement du modèle, entraînant une mauvaise performance sur de nouvelles données.
Explication
Un réglage inadéquat des hyperparamètres peut conduire à un sous-ajustement ou un surajustement, affectant négativement la capacité du modèle à généraliser. La mauvaise sélection peut aussi entraîner une performance dégradée sur des données non vues.
Mémorisez les réponses avec 11 flashcards sur Évaluation des modèles de machine learning.
Qu'est-ce que le jeu d'entraînement en apprentissage automatique ?
C'est l'échantillon de données utilisé pour ajuster le modèle.
Quel est le rôle du jeu de validation dans l'entraînement d'un modèle ?
Il sert à régler les hyperparamètres sans que le modèle apprenne ses données.
Que fait la validation croisée avec les données ?
Elle divise les données en plusieurs sous-ensembles.
Consultez la fiche de révision complète sur Évaluation des modèles de machine learning.
Voir la fiche →Importe ton cours et l'IA génère des QCM avec corrections en 30 secondes.
Générateur de QCM