Fiche de révision : Fondements du machine learning

📋 Plan du Cours

1. Définitions et composantes du machine learning
2. Apprentissage supervisé et prédiction
3. Méthodes d’apprentissage non supervisé
4. Représentation des données et hypothèse
5. Régression linéaire simple
6. Fonction de coût et minimisation
7. Dérivée et pente d’une courbe
8. Moindres carrés ordinaires
9. Principe de la descente de gradient
10. Réglage et convergence du gradient
11. Gradient appliqué à la régression linéaire
12. Batch, stochastique et mini-batch
13. Autres techniques d’optimisation

📖 1. Définitions et composantes du machine learning

🔑 Notions clés & Définitions

• Machine learning selon Tom Mitchell : Selon Tom Mitchell, un programme apprend à partir d’une expérience E relativement à des tâches T et à une mesure de performance P si sa performance sur T, mesurée par P, s’améliore avec E.
• Machine learning selon Arthur Samuel : Arthur Samuel décrit le machine learning comme le domaine d’étude qui donne aux ordinateurs la capacité d’apprendre sans être explicitement programmés.

★ À maîtriser

• Les trois composantes nécessaires sont :
  • les données
  • les caractéristiques
  • les algorithmes

📌 La qualité et la diversité des données influencent le résultat, et un algorithme performant ne compense pas des données de mauvaise qualité, selon le principe « garbage in – garbage out ».

Compléments

• Dans l’exemple du jeu de dames, E correspond à l’expérience de nombreuses parties, T à la tâche de jouer aux dames et P à la probabilité que le programme gagne la partie suivante.

• Les caractéristiques, aussi appelées paramètres ou variables, sont les facteurs examinés par la machine ; dans un tableau, elles correspondent aux noms des colonnes.

📖 2. Apprentissage supervisé et prédiction

🔑 Notions clés & Définitions

• Classification : Consiste à attribuer une observation à une catégorie parmi un ensemble de catégories, à partir de données d’entraînement dont les catégories sont connues.
• Régression : Un ensemble de processus statistiques servant à estimer les relations entre une variable dépendante et une ou plusieurs variables indépendantes.

★ À maîtriser

📌 L’apprentissage supervisé utilise des données étiquetées et des réponses connues, tandis que l’apprentissage non supervisé cherche des structures dans des données sans étiquettes ni enseignant.

• Les problèmes d’apprentissage supervisé se répartissent en régression, qui prédit une sortie continue, et classification, qui prédit une catégorie parmi des sorties discrètes.

Compléments

• Prédire le prix d’une maison à partir de sa superficie est une régression, tandis que prédire si elle se vend au-dessus ou au-dessous du prix demandé est une classification.

💡 Astuce mémo

Le supervisé apprend avec des réponses étiquetées ; le non supervisé cherche une structure sans enseignant.

📖 3. Méthodes d’apprentissage non supervisé

🔑 Notions clés & Définitions

• Apprentissage non supervisé : Recherche des structures dans des données sans réponses correctes connues ni rétroaction fondée sur les résultats des prédictions.
• Clustering : Organise les données en groupes en exploitant leurs structures inhérentes et les relations entre leurs variables afin de maximiser les ressemblances au sein des groupes.
• Réduction de dimensionnalité : Exploite la structure inhérente des données pour les résumer ou les décrire avec moins d’informations, de manière non supervisée.

📝 Points essentiels

• Les algorithmes de clustering courants comprennent :

  • k-Means
  • k-Medians
  • Expectation Maximisation (EM)
  • Hierarchical Clustering

• La réduction de dimensionnalité peut servir à visualiser des données multidimensionnelles, à les simplifier avant un apprentissage supervisé ou à soutenir des tâches de classification et de régression.

📖 4. Représentation des données et hypothèse

🔑 Notions clés & Définitions

• Ensemble d’entraînement : Un ensemble d’entraînement est une liste de m exemples (x^(i), y^(i)), indexés de i = 1 à m, utilisée pour apprendre.
• Hypothèse : Une hypothèse h est une fonction de X vers Y apprise à partir de l’ensemble d’entraînement afin que h(x) prédise la valeur cible y.
• Exemple d’entraînement : Un exemple d’entraînement est une paire formée d’une variable d’entrée x^(i) et d’une variable cible y^(i).

★ À maîtriser

📌 Une cible continue définit un problème de régression, tandis qu’une cible prenant un petit nombre de valeurs discrètes définit un problème de classification.

Compléments

📌 Dans la notation des exemples d’entraînement, l’exposant entre parenthèses (i) est un indice et non une puissance ; X désigne l’espace des entrées et Y l’espace des sorties.

📖 5. Régression linéaire simple

🔑 Notions clés & Définitions

• Régression linéaire simple : Prédit une réponse quantitative à partir d’un seul prédicteur en supposant une relation approximativement linéaire entre x et y.

★ À maîtriser

📐 Formule - Le modèle de régression linéaire simple s’écrit $h_{\theta}(x) = \theta_0 + \theta_1 x$.

Compléments

• Dans le modèle linéaire simple, θ₀ est l’ordonnée à l’origine et θ₁ la pente ; ces deux paramètres sont les coefficients de régression linéaire.

📖 6. Fonction de coût et minimisation

🔑 Notions clés & Définitions

• Fonction de coût : Mesure l’écart entre les valeurs prédites par l’hypothèse et les valeurs réelles des exemples d’entraînement.

★ À maîtriser

📐 Formule - Pour m exemples, le coût quadratique moyen utilisé est $J(\boldsymbol{\theta}) = \frac{1}{2m}\sum_{i=1}^{m}\left(h_{\boldsymbol{\theta}}(x^{(i)}) - y^{(i)}\right)^2$.

📌 L’objectif est de choisir θ₀ et θ₁ pour minimiser le coût, de sorte que les prédictions soient proches des valeurs réelles.

Compléments

• La fonction de coût est aussi appelée fonction d’erreur quadratique ou erreur quadratique moyenne, et son facteur 1/2 facilite le calcul de la descente de gradient car il est annulé par la dérivée du carré.

• Si la droite ajustée passe par tous les points d’entraînement, le coût J(θ₀, θ₁) vaut 0.

📌 Le coût dépend des paramètres de la droite θ₀ et θ₁, car leur modification change les distances verticales entre les points observés et la droite ajustée.

💡 Astuce mémo

Des écarts prédiction-réalité plus faibles → un coût quadratique plus faible.

📖 7. Dérivée et pente d’une courbe

🔑 Notions clés & Définitions

• Dérivée : Pente de la droite tangente à une courbe en un point, approchée en considérant deux points extrêmement proches.

★ À maîtriser

📌 Pour une droite, la pente est identique quel que soit l’emplacement des deux points choisis, tandis que la pente d’une courbe varie selon la portion considérée.

Compléments

• La dérivée indique la direction dans laquelle une fonction augmente ou diminue et aide à repérer ses minima et maxima.

💡 Astuce mémo

Une droite garde sa pente ; une courbe change de pente selon le point.

📖 8. Moindres carrés ordinaires

🔑 Notions clés & Définitions

• Covariance d’échantillon : La covariance d’échantillon est $s_{xy}=\frac{1}{n}\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})$ et mesure le degré d’association linéaire entre les valeurs de x et de y.

★ À maîtriser

• La méthode des moindres carrés trouve les paramètres en annulant les dérivées partielles de la fonction de coût par rapport à θ₀ et θ₁.

📐 Formule - Les estimateurs des moindres carrés sont $\hat{\theta}_1=\frac{\sum_{i=1}^{m}(x_i-\bar{x})(y_i-\bar{y})}{\sum_{i=1}^{m}(x_i-\bar{x})^2}=\frac{s_{xy}}{s_x^2}$ et $\hat{\theta}_0=\bar{y}-\hat{\theta}_1\bar{x}$.

Compléments

📐 Formule - La moyenne de l’échantillon est $\bar{x}=\frac{1}{n}\sum_{i=1}^{n}x_i$.

📐 Formule - La variance d’échantillon est $s_x^2=\frac{1}{n}\sum_{i=1}^{n}(x_i-\bar{x})^2$, et l’écart-type d’échantillon est $s_x$.

• En régression multivariée, le calcul des moindres carrés peut nécessiter l’inversion d’une matrice, impossible lorsque les variables prédictives sont linéairement dépendantes ou colinéaires.

📖 9. Principe de la descente de gradient

🔑 Notions clés & Définitions

• Descente de gradient : La descente de gradient estime les paramètres d’une fonction en avançant vers le minimum de sa fonction de coût dans la direction de la plus forte décroissance.

★ À maîtriser

📐 Formule - À chaque itération, la mise à jour générale est $\theta_j:=\theta_j-\alpha\frac{\partial J(\theta_0,\theta_1)}{\partial\theta_j}$ pour j=0,1.

📌 À chaque itération, tous les paramètres doivent être calculés à partir de leurs anciennes valeurs, puis mis à jour simultanément.

Compléments

• Dans la représentation de la fonction de coût, θ₀ et θ₁ occupent les axes horizontaux et la valeur du coût occupe l’axe vertical z.

• Le paramètre α, appelé taux d’apprentissage, détermine la taille du pas de descente.

💡 Astuce mémo

Un randonneur descend une montagne vers la vallée du minimum.

📖 10. Réglage et convergence du gradient

★ À maîtriser

• Pour une fonction de coût quadratique convexe, la dérivée tend vers zéro à mesure que le paramètre approche du minimum, et elle vaut zéro au minimum.

📌 Si α est trop petit, la descente de gradient progresse très lentement.

📌 Si α est trop grand, la descente de gradient peut dépasser le minimum, ne pas converger ou diverger.

Compléments

• Lorsque la pente est négative, θ₁ augmente pendant la descente de gradient ; lorsque la pente est positive, θ₁ diminue.

📌 Pour un α suffisamment petit, le coût doit diminuer à chaque itération ; une évolution qui ne respecte pas cette baisse peut signaler une implémentation incorrecte.

💡 Astuce mémo

Pas trop petit → descente lente ; pas trop grand → dépassement du minimum.

📖 11. Gradient appliqué à la régression linéaire

🔑 Notions clés & Définitions

• Descente de gradient par lots : Méthode qui calcule chaque mise à jour à partir de tous les exemples de l’ensemble d’entraînement.

★ À maîtriser

📐 Formule - En régression linéaire, la descente de gradient met à jour simultanément les paramètres selon $\theta_0:=\theta_0-\alpha\frac{1}{m}\sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})$ et $\theta_1:=\theta_1-\alpha\frac{1}{m}\sum_{i=1}^{m}((h_\theta(x^{(i)})-y^{(i)})x^{(i)})$.

Compléments

• Pour la régression linéaire étudiée, la fonction de coût est une fonction quadratique convexe qui possède un unique minimum global et aucun minimum local ; la descente de gradient converge vers ce minimum si α n’est pas trop grand.

📖 12. Batch, stochastique et mini-batch

🔑 Notions clés & Définitions

• Descente de gradient mini-batch : Méthode qui utilise un nombre fixe k d’exemples, inférieur à la taille totale du jeu de données, à chaque itération ; k est appelé la taille du lot.

★ À maîtriser

📌 La descente par lots calcule un gradient moyen sur tous les exemples à chaque pas, ce qui donne des mises à jour plus stables mais peut être lent et nécessiter trop de mémoire.

📌 La descente stochastique utilise un seul exemple par pas, permet des mises à jour plus fréquentes et convient aux grands jeux de données, mais le coût fluctue et la méthode oscille autour du minimum.

Compléments

• La descente stochastique n’entraîne pas nécessairement une baisse du coût à chaque exemple, mais le coût diminue à long terme malgré ses fluctuations.

💡 Astuce mémo

Batch prend tous les exemples, SGD un seul, mini-batch un sous-ensemble.

📖 13. Autres techniques d’optimisation

🔑 Notions clés & Définitions

• Momentum : Méthode qui calcule des moyennes exponentiellement pondérées des gradients et met à jour les poids avec ces valeurs afin d’accélérer et de régulariser la progression vers le minimum.

📝 Points essentiels

• Les autres techniques d’optimisation citées sont :
  • RMSprop
  • AdaGrad
  • AdaDelta
  • Adam
  • Ftrl

📊 Tableaux de synthèse

Régression et classification