Fiche de révision : Introduction à la régression linéaire simple

📋 Plan du Cours

1. Régression linéaire simple
2. Fonction coût
3. Algorithme de gradient
4. Variables dépendantes et indépendantes
5. Représentation graphique
6. Modélisation linéaire
7. Prédiction prix surface
8. Apprentissage supervisé
9. Fonction de perte quadratique
10. Descente de gradient

📖 1. Régression linéaire simple

🔑 Notions clés & Définitions

• Régression linéaire simple : Modélisation linéaire entre deux variables, où la variable dépendante Y est expliquée par une seule variable indépendante X, à l’aide d’une droite f(x) = b0 + b1 x.
• Objectif : Expliquer une variable dépendante Y à l’aide d’une variable indépendante X, en établissant une relation linéaire.
• Variable dépendante (Y) : Variable à expliquer ou à prédire dans le modèle.
• Variable indépendante (X) : Variable explicative utilisée pour modéliser Y.
• Différence entre régression simple et multiple : La régression simple utilise une seule variable indépendante, tandis que la régression multiple en utilise plusieurs (voir section 2).

📝 Points essentiels

• La régression linéaire simple cherche à ajuster une droite (f(x) = b0 + b1 x) aux données pour modéliser la relation entre X et Y.
• La variable Y est appelée variable dépendante, et X variable indépendante ou explicative.
• La modélisation commence souvent par une représentation graphique des données (exemple : tracé des observations (xi, yi)) pour vérifier la pertinence d’un modèle linéaire (voir section 5).
• La différence fondamentale avec la régression multiple réside dans le nombre de variables explicatives utilisées.
• La modélisation vise à minimiser l’erreur entre la prédiction et la valeur réelle, en utilisant des méthodes comme la fonction coût (voir section 4).
• La régression simple est un cas particulier de la modélisation linéaire, souvent utilisée pour des prédictions concrètes, par exemple, estimer le prix du loyer en fonction de la surface (voir section 4).

💡 À retenir

La régression linéaire simple modélise la relation entre deux variables par une droite, permettant d’expliquer ou prédire une variable dépendante à partir d’une variable indépendante, en utilisant une relation linéaire.

📖 2. Fonction coût

🔑 Notions clés & Définitions

• Fonction coût (cost function) : Fonction qui évalue la qualité d’un modèle en mesurant l’erreur entre les prédictions du modèle et les valeurs réelles observées. Son objectif est de guider l’ajustement des paramètres pour minimiser cette erreur.
• Rôle de la fonction coût : Permet de quantifier l’écart entre les prédictions et les valeurs réelles, facilitant ainsi l’optimisation du modèle par des méthodes comme la descente de gradient.
• Formulation mathématique : En régression linéaire, la fonction coût est souvent la moyenne des erreurs quadratiques (Mean Squared Error, MSE), exprimée par :
  $J(\theta) = \frac{1}{2m} \sum_{i=1}^m (h_\theta(x^{(i)}) - y^{(i)})^2$
  où $h_\theta(x^{(i)})$ est la prédiction, $y^{(i)}$ la valeur réelle, et $m$ le nombre d’exemples.
• Auteur : Andrew Ng (date : cours sur Machine Learning, Stanford University, Coursera) souligne que la fonction coût doit être minimisée pour améliorer la précision du modèle.

📝 Points essentiels

• La fonction coût est essentielle pour l’apprentissage supervisé, notamment en régression, car elle mesure l’erreur entre la sortie prédite par le modèle et la sortie réelle.
• La formulation mathématique de la fonction coût en régression linéaire est généralement la moyenne des erreurs quadratiques (MSE), ce qui permet d’avoir une mesure continue et différentiable de l’erreur.
• La minimisation de cette fonction est souvent réalisée par l’algorithme de descente de gradient, qui ajuste simultanément tous les paramètres du modèle pour atteindre un minimum global, étant donné que la fonction coût en régression linéaire est convexe.
• La fonction coût doit être choisie judicieusement : une erreur quadratique est couramment utilisée pour sa simplicité et sa différentiabilité, facilitant l’optimisation.

💡 À retenir

La fonction coût en régression linéaire quantifie l’erreur entre prédictions et valeurs réelles, et sa minimisation permet d’optimiser les paramètres du modèle pour une meilleure précision.

📖 3. Algorithme de gradient

🔑 Notions clés & Définitions

• Principe général de l'algorithme de gradient : Méthode itérative visant à minimiser une fonction en ajustant ses paramètres dans la direction opposée au gradient, c’est-à-dire la pente la plus forte de la fonction (source : Andrew Ng, coursera).
• Utilisation des dérivées partielles : Calcul des dérivées de la fonction par rapport à chaque paramètre pour déterminer la direction de la mise à jour (source : Andrew Ng).
• Convergence vers un minimum local ou global : Processus par lequel l’algorithme s’approche d’un point où la fonction ne varie plus, pouvant être un minimum local ou global selon la convexité de la fonction (source : Andrew Ng).

📝 Points essentiels

• L’algorithme de gradient consiste à calculer la dérivée partielle de la fonction de coût par rapport à chaque paramètre, puis à ajuster ces paramètres dans la direction opposée à la dérivée pour réduire l’erreur (source : Andrew Ng).
• La mise à jour des paramètres se fait simultanément, ce qui permet une convergence efficace vers le minimum de la fonction coût, surtout si cette dernière est convexe, car elle possède alors un seul minimum global (source : Andrew Ng).
• La convergence vers un minimum local ou global dépend de la convexité de la fonction : une fonction convexe garantit un minimum global, tandis qu’une fonction non convexe peut conduire à un minimum local (source : Andrew Ng).

💡 À retenir

L’algorithme de gradient ajuste itérativement les paramètres en utilisant les dérivées partielles pour minimiser la fonction coût, convergeant ainsi vers un minimum local ou global selon la convexité de la fonction.

📖 4. Variables dépendantes et indépendantes

🔑 Notions clés & Définitions

• Variable dépendante (Y) : Variable à expliquer ou à prédire dans un modèle de régression. Elle dépend des variables indépendantes et représente le résultat ou la sortie du modèle. Selon Andrew NG (coursera, 2025), c’est la variable que l’on cherche à modéliser en fonction des autres variables.

• Variable indépendante (X) : Variable explicative ou explicative, utilisée pour prédire ou expliquer la variable dépendante. Elle est considérée comme une cause ou un facteur influençant Y, comme précisé dans le cours de Pr. Nouhad SANOUSSI (2025).

• Rôle des variables indépendantes : Servent à expliquer la variation de la variable dépendante. Leur importance réside dans leur capacité à modéliser la relation causale ou associée avec Y, permettant ainsi la prédiction ou l’analyse de l’effet de X sur Y.

• Distinction entre variables : La différenciation est cruciale en modélisation, car elle détermine la structure du modèle (voir section 3). La variable dépendante est à expliquer, tandis que les variables indépendantes sont utilisées comme variables explicatives ou explicatives.

📝 Points essentiels

• La variable dépendante (Y) est l’objet de la prédiction ou de l’explication dans le modèle de régression, tandis que les variables indépendantes (X) jouent un rôle explicatif (voir section 3 pour leur rôle dans la modélisation).

• La distinction permet de définir la relation causale ou associée, essentielle pour la construction d’un modèle précis et pertinent.

• La modélisation linéaire cherche à établir une relation fonctionnelle entre X et Y, en utilisant une forme linéaire (f(x) = b0 + b1 x), où X est la variable indépendante et Y la variable dépendante (voir section 6).

• La compréhension claire de ces variables est fondamentale pour l’interprétation des résultats et la validation du modèle.

💡 À retenir

Les variables dépendantes et indépendantes jouent des rôles fondamentaux dans la modélisation, la variable dépendante étant à expliquer et les variables indépendantes étant utilisées comme facteurs explicatifs pour modéliser cette dépendance.

📖 5. Représentation graphique

🔑 Notions clés & Définitions

• Tracé des observations (xi, yi) : Représentation graphique des données brutes sous forme de points pour visualiser la relation entre la variable indépendante (xi) et la variable dépendante (yi), permettant d’évaluer la pertinence d’un modèle linéaire (voir introduction).
• Utilité de la représentation graphique : Avant toute modélisation, cette étape permet d’observer la tendance générale, la forme de la relation (linéaire, sinusoïdale, sigmoïdale, etc.) et d’identifier d’éventuelles anomalies ou outliers.
• Exemple de relation surface-prix : La représentation graphique des observations (Xi, Yi) permet de visualiser si la relation entre surface et prix peut être approximée par une droite, facilitant ainsi la modélisation par régression linéaire (voir exemple dans le cours).
• Objectif de la représentation graphique : Vérifier si la relation entre les variables est compatible avec un modèle linéaire, en particulier en traçant les points (xi, yi) pour détecter une tendance linéaire ou non.
• Forme de la relation : La représentation graphique peut révéler différentes formes, telles que sinusoïdale, sigmoïdale ou linéaire, influençant le choix du modèle à appliquer (voir exemples dans le cours).

📝 Points essentiels

• La première étape dans l’analyse de données consiste à tracer les observations (xi, yi) pour avoir une vision claire de la relation entre variables.
• La représentation graphique permet d’évaluer la pertinence d’un modèle linéaire en observant si les points suivent une tendance linéaire ou non.
• La visualisation des données est essentielle pour éviter des erreurs de modélisation, notamment si la relation n’est pas linéaire ou si des outliers sont présents.
• L’exemple de la relation surface-prix montre que la visualisation peut confirmer si une droite est une approximation adéquate ou si une autre forme serait plus appropriée.
• La forme de la relation (linéaire, sinusoïdale, sigmoïdale) influence directement la stratégie de modélisation et la sélection du modèle (voir exemples dans le cours).

💡 À retenir

La représentation graphique des données est une étape cruciale pour évaluer la pertinence d’un modèle linéaire en visualisant la relation entre variables, permettant d’orienter la modélisation et d’éviter des erreurs d’interprétation.

📖 6. Modélisation linéaire

🔑 Notions clés & Définitions

• Modélisation linéaire : Représentation d'une relation entre une variable dépendante Y et une ou plusieurs variables indépendantes X par une fonction linéaire, généralement sous la forme f(x) = b0 + b1 x.
• Application de la modélisation linéaire au problème de prédiction : Utilisation d’un modèle linéaire pour estimer la valeur d’une variable à partir de ses variables explicatives, en se basant sur la relation linéaire identifiée.
• Lien entre modélisation linéaire et régression linéaire simple : La régression linéaire simple est une application spécifique de la modélisation linéaire, visant à modéliser la relation entre deux variables par une droite f(x) = b0 + b1 x (voir section 1).

📝 Points essentiels

• La modélisation linéaire consiste à exprimer une relation entre variables par une fonction affine, facilitant la prédiction et l’analyse.
• La modélisation linéaire est souvent utilisée dans le contexte de la régression linéaire simple, qui cherche à ajuster une droite aux données observées (voir section 1).
• La forme f(x) = b0 + b1 x permet de représenter graphiquement la relation entre une variable indépendante X et une variable dépendante Y, en traçant une droite ajustée aux observations.
• L’application de cette modélisation à la prédiction consiste à utiliser la droite pour estimer la valeur de Y à partir d’une nouvelle valeur de X.
• La régression linéaire simple est un cas particulier de modélisation linéaire, où l’objectif est d’expliquer une variable Y par une seule variable X, en utilisant la droite f(x) = b0 + b1 x (voir section 1).

💡 À retenir

La modélisation linéaire permet de représenter et de prédire une relation entre variables par une droite, lien fondamental avec la régression linéaire simple, qui ajuste cette droite aux données pour la prédiction.

📖 7. Prédiction prix surface

🔑 Notions clés & Définitions

Application concrète de la prédiction du prix en fonction de la surface : Utilisation d’un modèle de régression linéaire pour estimer le prix d’un loyer ou d’un bien immobilier à partir de la surface en mètres carrés, permettant une estimation précise basée sur des données observées.

Utilisation de la régression linéaire pour estimer le prix du loyer : Méthode statistique qui modélise la relation entre la surface (variable indépendante) et le prix (variable dépendante) en ajustant une droite pour faire correspondre au mieux les données, dans le but de prévoir le prix à partir de la surface.

Exemple pratique avec données de surface et prix : Illustration concrète où l’on dispose d’un ensemble de données (surface en m² et prix en $) permettant de construire et d’évaluer un modèle de régression linéaire, puis d’effectuer des prédictions pour de nouvelles surfaces.

📝 Points essentiels

• La prédiction du prix en fonction de la surface repose sur un modèle de régression linéaire simple, qui cherche à ajuster une droite $f(x) = b_0 + b_1 x$ aux données observées, où $x$ représente la surface et $f(x)$ le prix estimé.
• La modélisation commence par une représentation graphique des données (ex. : surface vs prix) pour vérifier la pertinence d’un modèle linéaire.
• La méthode consiste à minimiser une fonction coût, typiquement la moyenne des erreurs quadratiques (voir section 9), pour optimiser les paramètres $b_0$ (ordonnée à l’origine) et $b_1$ (pente).
• La prédiction concrète du prix pour une nouvelle surface $x_{nouveau}$ se fait en calculant $f(x_{nouveau}) = b_0 + b_1 x_{nouveau}$, après estimation des paramètres.
• La régression linéaire est une technique supervisée, où la variable à prédire (prix) est continue, et les données d’entraînement permettent d’ajuster le modèle.

💡 À retenir

La prédiction du prix en fonction de la surface à l’aide de la régression linéaire permet d’obtenir une estimation précise et simple, en ajustant une droite aux données observées pour faire des prévisions sur de nouvelles surfaces.

📖 8. Apprentissage supervisé

🔑 Notions clés & Définitions

• Apprentissage supervisé : méthode d'apprentissage où le modèle apprend à partir d'exemples étiquetés, c'est-à-dire avec la bonne réponse fournie pour chaque exemple, permettant au modèle de généraliser pour de nouvelles données.
• Fournir la bonne réponse pour chaque exemple : caractéristique essentielle de l'apprentissage supervisé, où chaque donnée d'entrée est associée à une sortie correcte, facilitant l'apprentissage de la relation entre variables.
• Classification du problème de régression comme apprentissage supervisé : la régression consiste à prédire une valeur continue, et elle est classée dans l'apprentissage supervisé car elle nécessite des exemples avec réponses précises pour entraîner le modèle, comme indiqué dans la référence principale de Pr. Andrew NG (voir source).

📝 Points essentiels

L'apprentissage supervisé repose sur l'utilisation d'un ensemble de données étiquetées, où chaque exemple comporte une entrée et une sortie correspondante. La caractéristique fondamentale est que le modèle apprend à partir de ces exemples pour faire des prédictions sur de nouvelles données. La fourniture de la bonne réponse pour chaque exemple permet au modèle de capter la relation entre variables, ce qui est crucial pour la généralisation. La régression, qui vise à prédire une valeur continue, est une forme spécifique d'apprentissage supervisé, comme souligné par Andrew NG (voir référence principale). La modélisation par la régression linéaire simple illustre cette approche, où la relation entre une variable indépendante et une variable dépendante est approximée par une fonction linéaire.

💡 À retenir

L'apprentissage supervisé consiste à entraîner un modèle à partir d'exemples étiquetés, en lui fournissant la bonne réponse pour chaque cas, ce qui permet de prédire efficacement des valeurs continues ou catégoriques sur de nouvelles données.

📖 9. Fonction de perte quadratique

🔑 Notions clés & Définitions

• Fonction de perte quadratique (Mean Squared Error, MSE) : mesure de l'erreur entre les valeurs prédites par le modèle et les valeurs réelles, calculée en faisant la moyenne des carrés des écarts. Elle est particulièrement adaptée pour la régression, car elle pénalise fortement les grandes erreurs.
• Utilisation de la fonction de perte quadratique pour mesurer l'erreur : elle sert à quantifier la performance du modèle en évaluant la distance entre les prédictions et les observations, permettant d'optimiser les paramètres pour minimiser cette erreur.
• Lien entre fonction de perte quadratique et fonction coût : la fonction de perte quadratique constitue une composante essentielle de la fonction coût en régression linéaire, qui agrège l'erreur sur l'ensemble des données pour guider l'apprentissage (voir section 2).

📝 Points essentiels

• La fonction de perte quadratique est définie comme la moyenne des carrés des écarts entre les valeurs prédites $h(x_i)$ et les valeurs réelles $y_i$, soit :
  $\text{MSE} = \frac{1}{n} \sum_{i=1}^n (h(x_i) - y_i)^2$
• Elle est privilégiée en régression car elle pénalise davantage les erreurs importantes, ce qui favorise une meilleure précision globale.
• La fonction de perte quadratique est intégrée dans la fonction coût (voir section 2) pour optimiser le modèle via des méthodes comme la descente de gradient.
• La minimisation de cette fonction de perte permet d'ajuster les paramètres du modèle (par exemple, $b_0, b_1$ en régression linéaire) pour améliorer la qualité des prédictions.
• La convexité de la fonction de perte quadratique garantit l'existence d'un minimum global, facilitant la convergence lors de l'apprentissage.

💡 À retenir

La fonction de perte quadratique, en mesurant l'erreur moyenne au carré, est essentielle pour l'apprentissage en régression, car elle guide l'optimisation des paramètres du modèle vers la meilleure approximation possible des données.

📖 10. Descente de gradient

🔑 Notions clés & Définitions

• Principe de la descente de gradient : Méthode d'optimisation visant à minimiser une fonction en ajustant ses paramètres dans la direction opposée au gradient, c’est-à-dire la pente la plus forte de la fonction (voir AUTEUR (date)).
• Mise à jour simultanée des paramètres : Technique où tous les paramètres du modèle sont ajustés en même temps lors de chaque itération de la descente de gradient, permettant une convergence plus efficace (voir AUTEUR (date)).
• Convergence automatique vers le minimum global dans le cas convexe : Propriété d’une fonction convex, où la descente de gradient garantit que l’algorithme atteint le minimum global sans se perdre dans des minima locaux (voir AUTEUR (date)).

📝 Points essentiels

• La descente de gradient est une méthode itérative pour optimiser la fonction coût en ajustant simultanément tous les paramètres du modèle selon le gradient calculé à chaque étape.
• La mise à jour simultanée des paramètres permet d’accélérer la convergence et d’éviter des oscillations ou des divergences, contrairement à une mise à jour séquentielle.
• La propriété de convergence vers le minimum global est assurée si la fonction coût est convexe, ce qui est le cas pour la régression linéaire, garantissant que l’algorithme ne reste pas bloqué dans un minimum local.
• La convergence automatique se produit lorsque la taille du pas (learning rate) est adaptée, permettant à l’algorithme de s’arrêter au minimum sans intervention supplémentaire.

💡 À retenir

La descente de gradient, en mettant à jour tous les paramètres simultanément, permet une optimisation efficace et garantit la convergence vers le minimum global pour une fonction convexe, comme en régression linéaire.

📊 Tableaux de Synthèse

⚠️ Pièges & Confusions Fréquentes

1. Confondre régression simple et multiple : la simple utilise une seule variable X, la multiple plusieurs.
2. Négliger l’importance de la représentation graphique pour valider la linéarité.
3. Confondre la fonction coût avec la fonction de perte ; la première évalue l’ensemble du modèle.
4. Oublier que la fonction coût doit être différentiable pour l’algorithme de gradient.
5. Croire que la descente de gradient converge toujours vers le minimum global, alors qu’elle peut atteindre un minimum local si la fonction n’est pas convexe.
6. Confondre variable dépendante (Y) et variable indépendante (X) dans l’interprétation.
7. Négliger la différence entre minimiser la fonction coût et optimiser la précision du modèle.

✅ Checklist Examen

1. Connaître la définition de la régression linéaire simple et sa formule $f(x) = b_0 + b_1 x$.
2. Savoir distinguer entre variable dépendante (Y) et variable indépendante (X), en citant leurs rôles selon Andrew Ng et SANOUSSI.
3. Expliquer le rôle de la fonction coût en régression linéaire, en précisant sa formule (MSE) et son objectif.
4. Décrire le principe de l’algorithme de gradient, notamment le calcul des dérivées partielles et la mise à jour des paramètres.
5. Connaître la différence entre la minimisation de la fonction coût et l’optimisation de la précision du modèle.
6. Identifier la différence entre régression simple et multiple, en précisant le nombre de variables explicatives.
7. Comprendre l’intérêt de la représentation graphique pour valider la relation linéaire.
8. Savoir que la fonction coût en régression est généralement convexe, ce qui garantit un minimum global.
9. Maîtriser la formule de la fonction coût (MSE) et son rôle dans l’apprentissage supervisé.
10. Connaître le principe de convergence de l’algorithme de gradient et ses limites en cas de non-convexité.
11. Identifier les erreurs fréquentes lors de l’interprétation des variables dans un modèle de régression.
12. Vérifier la maîtrise du vocabulaire : variable dépendante, variable indépendante, fonction coût, gradient, convexité.