Fiche de révision : Apprentissage supervisé : exemples et représentations

Plan du Cours

  1. Analyse exploratoire et clustering
  2. Objectif de l’apprentissage supervisé
  3. Variables et notation du problème
  4. Types de variables et de problèmes
  5. Classification binaire et codage des classes
  6. Exemple de classification par voisins
  7. Courbes de niveau et frontière de décision
  8. Exemple de régression par voisins
  9. Panorama de l’apprentissage statistique

1. Analyse exploratoire et clustering

Notions clés & Définitions

  • Classification non supervisée : Regroupement des individus de façon que ceux d’un même groupe soient similaires et que ceux de groupes différents soient dissemblables, selon une distance définie entre individus.
  • Analyse en composantes principales : Réduction de la dimension par projection des données sur des axes qui sont des combinaisons linéaires des variables d’origine et sont non corrélés entre eux.

★ À maîtriser

  • L’analyse exploratoire étudie les variables séparément avec des histogrammes et les relations entre deux variables avec des nuages de points.

Compléments

  • Le jeu de données iris comprend 150 observations, chacune décrite par l’espèce de la fleur — setosa, virginica ou versicolor — et quatre caractéristiques morphologiques : la longueur et la largeur des sépales et des pétales.

  • Dans le jeu iris, l’ACP porte sur les quatre variables quantitatives et ses deux premiers axes expliquent plus de 97 % de la variabilité des données.

📌 Dans le clustering de l’iris, les groupes sont construits sans utiliser l’espèce, qui peut ensuite servir à colorer les mêmes individus pour comparer les groupes obtenus aux espèces réelles.

Astuce mémo

Le clustering forme des groupes sans utiliser l’espèce, contrairement à la comparaison avec les espèces réelles.

2. Objectif de l’apprentissage supervisé

Notions clés & Définitions

  • Apprentissage supervisé : Sous-domaine des statistiques qui regroupe les méthodes et algorithmes permettant de prédire une variable d’un jeu de données à partir des autres variables ou d’un sous-ensemble de celles-ci.

★ À maîtriser

📌 L’analyse descriptive caractérise les distributions, les relations entre variables et les ressemblances entre individus, tandis que l’apprentissage supervisé vise à prédire une variable pour aider à la prise de décision.

Compléments

  • Des exemples courants d’apprentissage supervisé sont : les recommandations sur les sites web, la complétion automatique de messages ou de courriels, la détection de visages sur smartphone, la décision d’accorder ou non un prêt bancaire

Astuce mémo

Décrire les données observe ; prédire exploite les données pour décider.

3. Variables et notation du problème

★ À maîtriser

📌 Les variables d’entrée X servent à produire une prédiction, tandis que la variable de sortie Y est celle que l’on cherche à prédire.

📐 Formule - À partir de Dn=(xi,yi)i=1,dots,nD_n = (x_i,y_i)_{i=1,dots,n}, l’objectif est de construire un prédicteur gg tel que y=g(x)y = g(x) pour une nouvelle entrée xx.

Compléments

  • Les variables d’entrée X sont aussi appelées variables explicatives, caractéristiques, variables indépendantes, prédicteurs ou covariables, et leur nombre d est la dimension du problème.

  • La variable de sortie Y est aussi appelée sortie, résultat, variable cible, étiquette ou variable réponse.

📐 Formule - Les observations d’apprentissage s’écrivent Dn=(xi,yi)i=1,dots,nD_n = (x_i,y_i)_{i=1,dots,n} et constituent un échantillon de n couples entrée-réponse.

  • Un prédicteur estimé à partir d’un échantillon est un estimateur statistique, et son étude peut porter notamment sur son biais, sa variance et sa convergence.

4. Types de variables et de problèmes

★ À maîtriser

  • Une variable quantitative ou numérique prend ses valeurs dans ℝ, avec un ordre et une distance bien définis, tandis qu’une variable qualitative ou catégorielle prend ses valeurs dans un ensemble fini.

  • Une variable nominale est qualitative sans ordre ni distance entre ses modalités, tandis qu’une variable ordinale possède un ordre mais pas de distance entre ses modalités.

  • Lorsque la variable de sortie Y est réelle, le problème est une régression et le prédicteur peut s’écrire f:X→Rf : \mathcal{X} \to \mathbb{R}.

  • Lorsque Y est une variable nominale prenant ses valeurs dans un ensemble fini de classes {C1,…,CM}\{C_1,\ldots,C_M\}, le problème est une classification supervisée, aussi appelée discrimination, et chaque CjC_j est une classe ou catégorie.

Compléments

  • Une variable discrétisée, comme un âge prenant les valeurs 10, 11 ou 15, possède un ordre et une distance et est généralement traitée comme une variable numérique en pratique.

Astuce mémo

Y numérique → régression ; Y nominale → classification.

5. Classification binaire et codage des classes

★ À maîtriser

  • La classification binaire, très fréquente en pratique, comporte exactement deux classes de sortie.

  • Les deux classes d’une classification binaire sont souvent recodées par convention en {0,1} ou en {−1,+1}, sans que cela modifie le problème.

Compléments

📌 La classification supervisée attribue à chaque observation une classe parmi les catégories définies, tandis que la classification non supervisée est appelée clustering.

📐 Formule - Avec des classes recodées en {0,1}, le nombre de prédictions de classe 1 parmi n observations s’écrit ∑i=1nh(xi)\sum_{i=1}^{n} h(x_i).

  • La régression ordinale concerne une variable de sortie catégorielle ordonnée et se situe entre régression et classification, mais elle n’est pas.

Astuce mémo

Le codage 0/1 change les étiquettes, pas le problème.

6. Exemple de classification par voisins

Notions clés & Définitions

  • Fonction de décision : La fonction de décision f(x)=1k∑i∈Nk(x)yif(x)=\frac{1}{k}\sum_{i\in N_k(x)} y_i associe à x la proportion de voisins de classe 1 et permet de déterminer la classe prédite par comparaison à un seuil.

★ À maîtriser

  • Dans l’exemple de classification de l’iris, seules les espèces versicolor et virginica sont retenues et l’espèce est prédite à partir des longueurs du sépale et du pétale.

  • Pour classer un point avec 9 plus proches voisins, on calcule la proportion de chaque classe parmi ces voisins et on prédit la classe majoritaire.

📐 Formule - Pour la classification binaire par 9 voisins, le prédicteur vaut h(x)=1h(x)=1 si la proportion des voisins de classe 1 dépasse 50 %, et vaut 00 sinon.

Compléments

  • Dans l’exemple de classification binaire, le seuil de décision est 0,5 : une valeur supérieure conduit à prédire la classe 1, et une valeur inférieure ou égale conduit à prédire la classe 0.

7. Courbes de niveau et frontière de décision

Notions clés & Définitions

  • Courbe de niveau : Courbe associant des points où la fonction prend une même valeur.

★ À maîtriser

  • Pour la classification par 9 voisins, la courbe de niveau 0,5 de la fonction de décision sépare les régions prédites comme classe 0 de celles prédites comme classe 1 et constitue la frontière de décision.

Compléments

  • Une fonction de deux variables peut être représentée en deux dimensions par plusieurs courbes de niveau annotées avec leurs valeurs, au lieu d’un graphique de surface en trois dimensions.

  • Dans la représentation de la fonction de décision de l’exemple, les zones bleues correspondent à des valeurs inférieures à 0,5 et les zones rouges à des valeurs supérieures à 0,5.

Astuce mémo

Comme sur une carte de randonnée, les courbes relient les points de même valeur.

8. Exemple de régression par voisins

Notions clés & Définitions

  • Hyperparamètre : Un hyperparamètre est un paramètre, tel que le nombre de voisins k, dont la valeur fait varier le prédicteur obtenu.

★ À maîtriser

  • Dans l’exemple de régression de l’iris, la longueur du pétale est prédite à partir de la longueur du sépale pour les seuls individus de l’espèce versicolor.

📐 Formule - En régression par k plus proches voisins, la prédiction est la moyenne des valeurs de sortie des k voisins les plus proches : f(x)=1k∑i∈Nk(x)yif(x)=\frac{1}{k}\sum_{i\in N_k(x)}y_i.

Compléments

  • Dans l’illustration de régression, les prédictions sont calculées pour 200 valeurs de la variable explicative réparties uniformément, avec k égal à 5 puis à 15.

9. Panorama de l’apprentissage statistique

★ À maîtriser

  • Les grandes catégories d’apprentissage statistique comprennent :
    • l’apprentissage supervisé
    • l’apprentissage non supervisé
    • l’apprentissage semi-supervisé
    • l’apprentissage actif
    • l’apprentissage séquentiel
    • l’apprentissage par renforcement

Compléments

  • Les domaines de l’apprentissage non supervisé présentés sont :

    • la réduction de dimension
    • l’estimation de densité
    • le clustering
  • Les méthodes de régression supervisée présentées sont :

    • les modèles linéaires
    • les k plus proches voisins
    • les arbres CART
    • les forêts aléatoires
    • les splines
    • les noyaux
    • le boosting
    • les réseaux de neurones
  • Les méthodes de classification supervisée présentées sont :

    • la régression logistique
    • les k plus proches voisins
    • les méthodes bayésiennes
    • l’analyse discriminante linéaire
    • les arbres CART
    • les forêts aléatoires
    • les SVM
    • le boosting
    • les réseaux de neurones

Teste tes connaissances

Teste tes connaissances sur Apprentissage supervisé : exemples et représentations avec 21 questions à choix multiples et corrections détaillées.

1. Pour explorer un jeu de données, une analyste veut examiner la distribution d’une variable, puis la relation entre deux variables. Quels graphiques convient-il d’utiliser, dans cet ordre ?

2. Une équipe regroupe des individus selon une distance choisie entre eux. Quelle propriété les groupes obtenus par clustering doivent-ils viser ?

Faire le QCM →

Révisez avec les flashcards

Mémorisez les concepts clés de Apprentissage supervisé : exemples et représentations avec 66 flashcards interactives.

Quels outils l’analyse exploratoire utilise-t-elle pour étudier une variable et deux variables ?

Des histogrammes pour une variable et des nuages de points pour deux variables.

Selon quel critère la classification non supervisée regroupe-t-elle les individus ?

Selon leur similarité, déterminée par une distance entre individus.

Que caractérise l’analyse descriptive ?

Les distributions, les relations entre variables et les ressemblances entre individus.

Voir les flashcards →

Cours similaires

Crée tes propres fiches de révision

Importe ton cours et l'IA génère fiches, QCM et flashcards en 30 secondes.

Générateur de fiches