Fiche de révision : Fondamentaux du machine learning

📋 Plan du Cours

1. Définition et objectif du machine learning
2. Données, variables et algorithmes
3. Apprentissage supervisé et non supervisé
4. Classification et régression
5. Méthodes non supervisées
6. Représentation des modèles
7. Régression linéaire et fonction de coût
8. Optimisation par descente de gradient

📖 1. Définition et objectif du machine learning

🔑 Notions clés & Définitions

• Machine learning : Arthur Samuel — Domaine d’étude qui donne aux ordinateurs la capacité d’apprendre sans être explicitement programmés.
• Apprentissage selon Mitchell : Pour Tom Mitchell, un programme apprend de l’expérience E relativement à une classe de tâches T et à une mesure de performance P si sa performance sur T, mesurée par P, s’améliore avec E.

★ À maîtriser

📌 Les problèmes de machine learning sont généralement classés en apprentissage supervisé ou en apprentissage non supervisé.

Compléments

• Dans le jeu de dames, l’expérience E correspond à de nombreuses parties jouées, la tâche T consiste à jouer aux dames et la performance P est la probabilité de gagner la partie suivante.

💡 Astuce mémo

Expérience E → amélioration de la performance P sur les tâches T

📖 2. Données, variables et algorithmes

🔑 Notions clés & Définitions

• Caractéristique : Facteur observé par la machine pour produire une prédiction.

★ À maîtriser

• Une tâche de machine learning nécessite des données, des variables caractéristiques et un algorithme pour prédire un résultat à partir de données entrantes.

📌 La diversité des données facilite la découverte de motifs pertinents et améliore généralement la prédiction, tandis que des données de mauvaise qualité peuvent rendre inefficace même le meilleur algorithme.

Compléments

• Dans des données tabulaires, les caractéristiques correspondent généralement aux noms des colonnes.

💡 Astuce mémo

Bonnes données + bon algorithme, mais données médiocres → résultats médiocres

📖 3. Apprentissage supervisé et non supervisé

🔑 Notions clés & Définitions

• Apprentissage non supervisé : Cherche à extraire une structure ou des motifs de données sans connaître à l’avance les résultats corrects et sans retour fondé sur les performances de prédiction.

★ À maîtriser

📌 L’apprentissage supervisé utilise des données étiquetées et un enseignant fournissant les réponses attendues, tandis que l’apprentissage non supervisé utilise des données non étiquetées et recherche seul des motifs.

Compléments

📌 L’apprentissage supervisé est souvent utilisé plus couramment dans les tâches réelles parce que la présence d’un enseignant accélère l’apprentissage.

💡 Astuce mémo

Supervisé = enseignant et réponses connues ; non supervisé = découverte autonome

📖 4. Classification et régression

🔑 Notions clés & Définitions

• Classification : Consiste à attribuer une nouvelle observation à une catégorie discrète à partir d’un ensemble d’apprentissage dont les catégories sont connues.
• Régression : Regroupe les méthodes statistiques qui estiment la relation entre une variable dépendante et une ou plusieurs variables indépendantes afin de prédire une sortie continue.

📝 Points essentiels

• Prédire le prix d’une maison à partir de sa superficie est une régression, car le prix est une sortie continue.

• Les algorithmes courants de classification comprennent:

  • Naive Bayes
  • les arbres de décision
  • la régression logistique
  • les k plus proches voisins
  • les machines à vecteurs de support

💡 Astuce mémo

Classification = catégories discrètes ; régression = valeur continue

📖 5. Méthodes non supervisées

🔑 Notions clés & Définitions

• Clustering : Organise les données en groupes présentant une forte similarité en exploitant les structures intrinsèques des données.
• Réduction de dimension : Résume ou décrit des données avec moins d’informations afin notamment de les visualiser ou de simplifier leur utilisation dans un apprentissage supervisé.

📝 Points essentiels

• Les algorithmes courants de clustering sont:

  • k-Means
  • k-Medians
  • Expectation Maximisation
  • le clustering hiérarchique

• Les méthodes courantes de réduction de dimension comprennent:

  • l’analyse en composantes principales
  • la décomposition en valeurs singulières
  • l’allocation de Dirichlet latente
  • l’analyse sémantique latente
  • t-SNE pour la visualisation

📖 6. Représentation des modèles

🔑 Notions clés & Définitions

• Exemple d’apprentissage : Couple de données (x⁽ⁱ⁾, y⁽ⁱ⁾), où x⁽ⁱ⁾ représente les variables d’entrée et y⁽ⁱ⁾ la variable cible à prédire.
• Ensemble d’apprentissage : Un ensemble d’apprentissage est une liste de m exemples d’apprentissage (x⁽ⁱ⁾, y⁽ⁱ⁾), pour i allant de 1 à m.
• Hypothèse : Fonction de l’espace des entrées X vers l’espace des sorties Y, apprise pour prédire correctement y à partir de x.

📝 Points essentiels

📌 Une sortie continue correspond à un problème de régression, tandis qu’un nombre limité de valeurs discrètes correspond à un problème de classification.

💡 Astuce mémo

Entrée x → hypothèse h → sortie y

📖 7. Régression linéaire et fonction de coût

🔑 Notions clés & Définitions

• Dérivée : Donne la pente de la droite tangente à une courbe en un point et indique la direction dans laquelle une fonction augmente ou diminue.

📝 Points essentiels

📐 Formule — Le modèle de régression linéaire simple s’écrit $h_{\theta}(x)=\theta_0+\theta_1x$, où θ₀ est l’ordonnée à l’origine et θ₁ la pente.

📐 Formule — La fonction de coût des moindres carrés est $J(\boldsymbol{\theta})=\frac{1}{2m}\sum_{i=1}^{m}\left(h_{\boldsymbol{\theta}}(x^{(i)})-y^{(i)}\right)^2$.

📌 L’objectif de l’apprentissage linéaire est de choisir θ₀ et θ₁ afin de minimiser la fonction de coût et de rapprocher les prédictions hθ(x) des valeurs observées y.

💡 Astuce mémo

Paramètres θ → prédictions hθ → erreurs quadratiques → coût J

📖 8. Optimisation par descente de gradient

📝 Points essentiels

• La descente de gradient met à jour les paramètres dans la direction opposée au gradient jusqu’à la convergence.

📐 Formule — La mise à jour générale de la descente de gradient est $\theta_j:=\theta_j-\alpha\frac{\partial}{\partial\theta_j}J(\theta_0,\theta_1)$, pour j égal à 0 ou 1.

📌 Le taux d’apprentissage α doit être suffisamment petit pour éviter le dépassement du minimum, mais un α trop petit rend la descente de gradient très lente.

📌 La descente de gradient par lots utilise tous les exemples à chaque mise à jour, la descente stochastique utilise un seul exemple et la descente par mini-lots utilise k exemples.

💡 Astuce mémo

Un randonneur descend une montagne jusqu’au minimum du coût

📊 Tableaux de synthèse

Classification et régression

Variantes de descente de gradient