Fiche de révision : Introduction au machine learning

📋 Plan du Cours

1. Tâches du machine learning
2. Applications en robotique
3. Codage et représentation des données
4. Fléau des grandes dimensions
5. Matrice de covariance
6. Analyse en composantes principales
7. Analyse discriminante linéaire
8. Sélection de caractéristiques

📖 1. Tâches du machine learning

🔑 Notions clés & Définitions

• Classification : Associe une entrée à une catégorie, par exemple l’identité d’une personne à partir de son image.
• Régression : Associe une entrée à une valeur numérique, par exemple la température dans 24 heures à partir de paramètres météorologiques.

★ À maîtriser

• Les autres tâches présentées sont:
  • la retranscription
  • la traduction
  • la détection d’anomalie
  • la synthèse
  • le débruitage

Compléments

• La retranscription transforme l’observation d’une entrée en forme textuelle, comme des numéros de rue produits à partir d’images Google Street.

📖 2. Applications en robotique

★ À maîtriser

📌 La robotique traditionnelle reproduit des tâches avec un automate peu adaptatif, tandis qu’un véhicule autonome collabore avec son environnement et les autres usagers.

• En robotique, l’intelligence sert à:
  • percevoir l’environnement
  • prédire le futur
  • planifier des actions
  • interpréter les comportements
  • générer des mouvements

Compléments

• Un cobot: réduit les risques de troubles musculosquelettiques et la manipulation de charges lourdes, améliore l’ergonomie, libère du personnel pour des opérations à plus forte valeur ajoutée, favorise l’expertise humaine

💡 Astuce mémo

Robot traditionnel = automate peu adaptatif ; véhicule autonome et cobot = systèmes interactifs qui réagissent à l’environnement.

📖 3. Codage et représentation des données

🔑 Notions clés & Définitions

• Codage : Aussi appelé vecteur de caractéristiques ou features, représente chaque exemple par un vecteur numérique.

📝 Points essentiels

• Dans l’exemple des poissons, un poisson peut être représenté par sa taille en dimension 1, ou par sa taille et sa teinte en dimension 2.

• Un bon codage possède: un fort pouvoir discriminant entre les classes, un faible pouvoir de variation intra-classe, une stabilité au bruit, une faible dimension

💡 Astuce mémo

Inter-classes : différent ; intra-classe : similaire.

📖 4. Fléau des grandes dimensions

★ À maîtriser

• La complexité algorithmique des algorithmes de classification peut être en $f(n^2)$, en $f(n^3)$ ou même exponentielle.

• Si chaque dimension est divisée en deux avec deux exemples par dimension, le nombre de données nécessaires vaut $2^n$, soit 4 pour n=2, 8 pour n=3, 16 pour n=4 et 1 048 576 pour n=20.

Compléments

• Pour des points uniformément répartis, le rapport entre un disque de rayon 0,5 et un carré de rayon 1 vaut 0,78 en dimension 2, tandis que le rapport entre une boule et un cube vaut 0,17 en dimension 3.

💡 Astuce mémo

Dimension accrue → données dispersées, calculs plus coûteux et points concentrés dans les coins.

📖 5. Matrice de covariance

🔑 Notions clés & Définitions

• Matrice de covariance : De N vecteurs de données de dimension n, elle est $\Sigma=\frac{1}{N}\sum_{i=1}^{N}(x_i-\mu)(x_i-\mu)^T$, où μ est le vecteur moyen.

📝 Points essentiels

• La matrice de covariance est de dimension n×n, symétrique, et ses valeurs représentent la forme du nuage de points.

📖 6. Analyse en composantes principales

🔑 Notions clés & Définitions

• Analyse en composantes principales : Projette des données de dimension n vers une dimension d inférieure en conservant autant d’information que possible.

★ À maîtriser

• Avant une ACP, on standardise les données en centrant chaque dimension puis en divisant ses valeurs par son écart-type.

📐 Formule — La variance projetée sur un axe unitaire i′ vaut $\sigma^2=i′^T\Sigma i′$.

📌 Le premier axe principal est le vecteur propre de la matrice de covariance associé à la plus grande valeur propre, puis les axes suivants correspondent aux valeurs propres décroissantes.

📐 Formule — L’inertie portée par les d premiers axes est $\frac{\lambda_1+\lambda_2+\cdots+\lambda_d}{\lambda_1+\lambda_2+\cdots+\lambda_n}$.

Compléments

• Le nombre d’axes peut être choisi avec: un pourcentage d’inertie fixé, une valeur propre supérieure à l’inertie moyenne, le coude de Cattel, le taux de reconnaissance

• Pour 270 visages de 38×38 pixels, chaque visage possède 1 444 dimensions et une représentation par 40 dimensions conserve un taux de reconnaissance proche du maximum.

💡 Astuce mémo

Standardiser → diagonaliser la covariance → ordonner les axes → conserver les premières composantes.

📖 7. Analyse discriminante linéaire

🔑 Notions clés & Définitions

• Analyse discriminante linéaire : Tient compte de la répartition des points dans les classes en maximisant le rapport entre variance inter-classe et variance intra-classe.

📝 Points essentiels

📐 Formule — La covariance intra-classe est la moyenne pondérée des covariances des K classes : $\Sigma_{intra}=p_1\Sigma_1+p_2\Sigma_2+\cdots+p_K\Sigma_K$.

📐 Formule — La covariance inter-classe est $\Sigma_{inter}=\sum_{k=1}^{K}p_k(\mu_k-\mu)(\mu_k-\mu)^T$.

📌 Les axes LDA sont les vecteurs propres de $\Sigma_{intra}^{-1}\Sigma_{inter}$ classés par valeurs propres décroissantes.

💡 Astuce mémo

ACP : variance totale ; LDA : variance inter-classes contre variance intra-classe.

📖 8. Sélection de caractéristiques

🔑 Notions clés & Définitions

• Méthodes filter : Sélectionnent en amont de la classification d caractéristiques parmi n selon un critère donné, avec d≪n.
• Méthodes wrapper : Évaluent un sous-ensemble de caractéristiques selon sa performance de classification avec un algorithme d’apprentissage.

★ À maîtriser

📌 La réduction par projection crée de nouvelles dimensions qui sont des combinaisons linéaires des anciennes, tandis que la sélection de caractéristiques conserve certaines dimensions initiales.

📌 Les méthodes filter sont efficaces en calcul mais ignorent les interactions entre caractéristiques et la performance du classifieur, tandis que les méthodes wrapper peuvent choisir de petits sous-ensembles performants mais sont très coûteuses en calcul.

Compléments

📐 Formule — La corrélation entre la caractéristique k et l’étiquette est $C_k=\frac{\sum_i(x_{ik}-\bar{x}_k)(y_i-\bar{y})}{\sqrt{\sum_i(x_{ik}-\bar{x}_k)^2\sum_i(y_i-\bar{y})^2}}$, et les caractéristiques à C_k élevé sont sélectionnées.

• La sélection progressive SFS part d’un ensemble vide et ajoute à chaque étape la caractéristique restante qui améliore le plus les performances.

💡 Astuce mémo

Filter : critère indépendant du classifieur ; wrapper : performance mesurée avec le classifieur.

📊 Tableaux de synthèse

ACP et LDA