Fiche de révision : Introduction à la régression linéaire

📋 Plan du Cours

1. Régression linéaire simple
2. Notations et hypothèses
3. Estimateurs MCO
4. Propriétés des estimateurs
5. Variance des estimateurs
6. Interprétation géométrique
7. Mesure de l'ajustement
8. Coefficient de détermination R2
9. Évaluation du modèle
10. Régression multiple et modèles avancés

📖 1. Régression linéaire simple

🔑 Notions clés & Définitions

• Relation linéaire approximative : La régression linéaire simple modélise une relation entre une variable dépendante y et une variable explicative x en supposant qu’elle peut être approchée par une droite, c’est-à-dire une relation de la forme y ≈ β0 + β1x, où β0 et β1 sont des coefficients à estimer. (source : S. Lèbre, Chap 2)

• Modèle y ≈ β0 + β1x : Expression qui représente l’hypothèse que la variable réponse y peut être approximée par une combinaison linéaire d’une variable explicative x, avec une erreur aléatoire εi, c’est-à-dire yi = β0 + β1xi + εi. (source : S. Lèbre, Chap 2)

• Notations vectorielles : La formulation compacte du modèle en utilisant des vecteurs y, x, et ε, où y = (y1, ..., yn)ᵗ, x = (x1, ..., xn)ᵗ, et ε = (ε1, ..., εn)ᵗ, permet de représenter la relation linéaire de manière matricielle. (source : S. Lèbre, Chap 2)

• Notion d’erreur εi : La différence entre la valeur observée yi et la valeur prédite par le modèle, considérée comme une variable aléatoire centrée (E[εi]=0), avec une variance constante (Var[εi]=σ²) et non corrélée entre erreurs différentes (Cov[εi, εj]=0 pour i ≠ j). (source : S. Lèbre, Chap 2)

• Estimateurs MCO (Moindres Carrés Ordinaires) : Méthode qui consiste à choisir les coefficients β0 et β1 pour minimiser la somme des carrés des erreurs (RSS), c’est-à-dire la différence entre les valeurs observées yi et celles prédites par la droite β0 + β1xi. (source : S. Lèbre, Chap 2)

📝 Points essentiels

• La régression linéaire simple cherche à modéliser la relation entre une variable dépendante y et une variable explicative x par une droite y ≈ β0 + β1x, en estimant les coefficients β0 et β1 à partir des données.

• La relation est formulée comme une approximation, avec une erreur aléatoire εi, qui doit respecter certaines hypothèses : centrée (E[εi]=0), homoscédastique (Var[εi]=σ² constante), et non corrélée (Cov[εi, εj]=0 pour i ≠ j).

• La droite de régression MCO passe par le centre de gravité (moyenne de x, moyenne de y), ce qui signifie que β0 et β1 peuvent s’écrire en fonction des moyennes et de la covariance empirique entre x et y : $\hat{\beta}_1 = \frac{\text{cov}(x,y)}{\text{var}(x)} \quad \text{et} \quad \hat{\beta}_0 = \bar{y} - \hat{\beta}_1 \bar{x}$

• La méthode MCO minimise la somme des carrés des erreurs, ce qui garantit que l’estimateur est sans biais (E[ˆβ0]=β0, E[ˆβ1]=β1]) et possède une variance minimale parmi tous les estimateurs linéaires non biaisés (théorème de Gauss-Markov).

• La qualité de l’ajustement est mesurée par le RSS, la somme des carrés des résidus, qui doit être aussi faible que possible pour une bonne approximation.

💡 À retenir

La régression linéaire simple modélise une relation approximative entre une variable dépendante et une variable explicative par une droite, en utilisant la méthode des moindres carrés pour estimer ses coefficients, sous réserve que les erreurs respectent certaines hypothèses fondamentales.

📖 2. Notations et hypothèses

🔑 Notions clés & Définitions

• i (1 ≤ i ≤ n) : indice représentant l’individu ou l’unité statistique dans l’échantillon.
• yi : variable réponse quantitative pour l’individu i, par exemple le nombre de ventes (voir section 3).
• xi : variable explicative ou prédicteur quantitatif pour l’individu i, comme le budget publicitaire en TV (voir section 3).
• Modèle linéaire yi ≈ β0 + β1xi : relation d’approximation entre la réponse yi et le prédicteur xi, où β0 est l’ordonnée à l’origine et β1 la pente.
• εi : erreur ou terme d’erreur aléatoire associée à l’individu i, modélisée comme variable aléatoire.
• E[εi] = 0 (H1) : hypothèse d’erreur centrée, signifiant que la moyenne des erreurs est nulle.
• Var[εi] = σ² (H2) : hypothèse d’homoscédasticité, indiquant que toutes les erreurs ont la même variance σ².
• Cov[εi, εj] = 0 pour i ≠ j (H3) : hypothèse d’indépendance ou d’absence de corrélation entre erreurs différentes.
• y, x, 1, ε : vecteurs ou variables vectorielles notées en gras, représentant respectivement les réponses, prédicteurs, vecteur de 1 pour l’interception, et erreurs.
• β0, β1 : coefficients non aléatoires et inconnus du modèle linéaire, à estimer à partir des données.

📝 Points essentiels

• La notation des indices i permet de désigner chaque individu dans un échantillon de taille n.
• La formulation yi ≈ β0 + β1xi traduit une relation linéaire approximative, où la flèche indique une relation probabiliste ou d’incertitude.
• Les erreurs εi sont supposées avoir une espérance nulle (E[εi]=0), une variance constante (σ²), et être non corrélées entre elles (Cov[εi, εj]=0 pour i ≠ j), conformément aux hypothèses classiques du modèle linéaire (voir section 3).
• La notation vectorielle y, x, 1, ε facilite la représentation compacte du modèle, notamment pour l’application des estimateurs MCO (voir section 3).
• La relation yi ≈ β0 + β1xi indique que l’on cherche à ajuster une droite aux données, en minimisant notamment la somme des carrés des erreurs (RSS).

💡 À retenir

Les notations vectorielles et les hypothèses sur les erreurs garantissent la simplicité et la rigueur du modèle linéaire, permettant d’estimer de manière optimale les coefficients β0 et β1 tout en assurant leur unbiasedness et leur efficacité (voir section 3).

📖 3. Estimateurs MCO

🔑 Notions clés & Définitions

• Moindres Carrés Ordinaires (MCO) ou Ordinary Least Squares (OLS) : Méthode d'estimation qui consiste à minimiser la somme des carrés des erreurs entre la valeur observée $y_i$ et la valeur prédite par le modèle $\beta_0 + \beta_1 x_i$.
• Estimateurs ˆβ₁ et ˆβ₀ : Formules analytiques des coefficients estimés par la méthode MCO :
  $\hat{\beta}_1 = \frac{\text{cov}(x,y)}{\text{var}(x)} \quad \text{et} \quad \hat{\beta}_0 = \bar{y} - \hat{\beta}_1 \bar{x}$ où $\text{cov}(x,y)$ et $\text{var}(x)$ sont la covariance et la variance empirique, respectivement, de x et y, et $\bar{x}$, $\bar{y}$ leurs moyennes.
• Propriété géométrique : La droite MCO passe par le centre de gravité $(\bar{x}, \bar{y})$, c’est-à-dire que $\hat{\beta}_0 + \hat{\beta}_1 \bar{x} = \bar{y}$.
• Méthode de calcul : Les estimateurs sont obtenus en dérivant la fonction objectif (la somme des carrés des erreurs) par rapport à $\beta_0$ et $\beta_1$, puis en résolvant les conditions d'optimalité (équations normales).
• Exemple d’application : Sur données simulées ou réelles, les estimateurs sont calculés analytiquement ou via la fonction lm() en R, illustrant la minimisation de la somme des carrés des résidus.

📝 Points essentiels

• La méthode MCO consiste à minimiser la somme des carrés des erreurs :
  $RSS = \sum_{i=1}^n (y_i - \beta_0 - \beta_1 x_i)^2$
• Les estimateurs analytiques sont :
  $\hat{\beta}_1 = \frac{\sum_{i=1}^n (x_i - \bar{x})(y_i - \bar{y})}{\sum_{i=1}^n (x_i - \bar{x})^2}$ $\hat{\beta}_0 = \bar{y} - \hat{\beta}_1 \bar{x}$
• La droite MCO passe par le centre de gravité $(\bar{x}, \bar{y})$, ce qui garantit que la moyenne des résidus est nulle : $\sum_{i=1}^n \hat{\varepsilon}_i = 0$.
• La propriété d'optimalité (Gauss-Markov) affirme que, parmi tous les estimateurs linéaires sans biais, l’estimateur MCO possède la variance minimale, d’où le terme BLUE (Best Linear Unbiased Estimator).
• La variance des estimateurs $\hat{\beta}_1$ et $\hat{\beta}_0$ dépend de la dispersion des données : plus $x_i$ sont dispersés, plus la variance de $\hat{\beta}_1$ diminue.
• La formule de l’estimateur de la variance de l’erreur $\sigma^2$ est :
  $\hat{\sigma}^2 = \frac{RSS}{n-2}$ qui est un estimateur sans biais de $\sigma^2$.

💡 À retenir

Les estimateurs MCO, obtenus par minimisation analytique ou numérique, sont sans biais et optimaux en variance parmi les estimateurs linéaires, en passant par le centre de gravité des données, garantissant une estimation précise des coefficients dans un modèle linéaire simple.

📖 4. Propriétés des estimateurs

🔑 Notions clés & Définitions

• Propriété d'absence de biais des estimateurs MCO : E[ˆβ0] = β0 et E[ˆβ1] = β1. Cela signifie que, en moyenne, les estimateurs obtenus par la méthode des Moindres Carrés Ordinaires (MCO) donnent la valeur réelle des paramètres du modèle, sans erreur systématique.
• Conditions nécessaires pour l'absence de biais : Les erreurs εi doivent satisfaire les hypothèses (H1) à (H3) : E[εi] = 0 (erreurs centrées), Var[εi] = σ² (homoscédasticité), et Cov[εi, εj] = 0 pour i ≠ j (non corrélation). Ces conditions assurent que les estimateurs MCO sont sans biais.
• Théorème de Gauss-Markov (1930) : Parmi tous les estimateurs linéaires, sans biais, de β0 et β1, l'estimateur MCO possède la variance la plus faible. En anglais, il est appelé "BLUE" (Best Linear Unbiased Estimator).
• Linéarité des estimateurs : Les estimateurs ˆβ0 et ˆβ1 sont des combinaisons linéaires des observations y, ce qui garantit leur propriété de linéarité en les données.
• Interprétation des estimateurs comme estimateurs sans biais : Sous les hypothèses, E[ˆβ0] = β0 et E[ˆβ1] = β1, ce qui indique que ces estimateurs, en moyenne, donnent la valeur vraie des paramètres, sans déviation systématique.

📝 Points essentiels

• La propriété d'absence de biais des estimateurs MCO repose sur les hypothèses (H1) à (H3) sur les erreurs : E[εi] = 0, Var[εi] = σ², et non corrélation entre εi et εj pour i ≠ j.
• Le théorème de Gauss-Markov établit que, sous ces conditions, l'estimateur MCO est le meilleur parmi tous les estimateurs linéaires et sans biais, en termes de variance (il est BLUE).
• La linéarité des estimateurs en y garantit leur simplicité d'interprétation et leur calcul analytique.
• La propriété d'absence de biais est essentielle pour assurer la fiabilité des estimations des paramètres du modèle, notamment lorsque l'on souhaite faire des inférences ou des prédictions.
• La linéarité et la propriété sans biais permettent aussi d'interpréter les estimateurs comme des valeurs moyennes conditionnelles non biaisées, sous les hypothèses du modèle.

💡 À retenir

Les estimateurs MCO sont sans biais et optimaux en variance (BLUE) sous des conditions strictes sur les erreurs, garantissant leur fiabilité pour l'estimation des paramètres dans un modèle linéaire.

📖 5. Variance des estimateurs

🔑 Notions clés & Définitions

• Var[ˆβ1] = σ² / (n * variance(x)) : Formule de la variance de l'estimateur de la pente ˆβ1 en régression linéaire simple, indiquant que la précision de l'estimation augmente avec la dispersion des xi (plus variance(x) est grande, plus Var[ˆβ1] diminue).
• Var[ˆβ0] = σ² / n * (1 + (moyenne(x))² / variance(x)) : Formule de la variance de l'estimateur de l'ordonnée à l'origine ˆβ0, dépendant de la taille de l’échantillon n, de la moyenne de x et de la dispersion de x.
• Estimation sans biais de σ² = ˆσ² = RSS / (n - 2) : Estimateur de la variance σ² basé sur la somme des carrés des résidus (RSS), avec dénominateur n - 2 correspondant au nombre de paramètres estimés (β0, β1).
• Impact de la taille de l’échantillon n : Plus n est grand, plus la variance des estimateurs ˆβ0 et ˆβ1 diminue, améliorant la précision de l’estimation.
• Dépendance de la variance de ˆβ1 à la dispersion des xi : La variance de ˆβ1 est inversement proportionnelle à la variance(x), ce qui signifie qu’une dispersion plus grande des xi réduit la variance de l’estimateur, augmentant sa précision.

💡 À retenir

La précision des estimateurs de la régression linéaire simple dépend directement de la dispersion des xi et de la taille de l’échantillon, avec une variance plus faible indiquant une estimation plus fiable.

📖 6. Interprétation géométrique

🔑 Notions clés & Définitions

• Projection orthogonale : Opération consistant à projeter un vecteur y sur un espace M(x) = span{1, x} en minimisant la distance euclidienne entre y et un vecteur dans M(x). Selon AUTEUR (date), cette projection est la meilleure approximation de y dans l’espace M(x) en termes de norme euclidienne.

• Espace M(x) = span{1, x} : Sous-espace vectoriel engendré par le vecteur unité (1) et le vecteur des prédicteurs x. C’est l’espace des combinaisons linéaires de ces deux vecteurs, représentant toutes les droites possibles de la forme β0 + β1x.

• Minimisation de la norme euclidienne : Problème consistant à trouver le vecteur dans M(x) qui minimise la distance (norme euclidienne) avec y, équivalent à résoudre le problème de projection orthogonale. Selon AUTEUR (date), cette minimisation conduit à la droite de régression MCO.

• Lien entre projection orthogonale et moindres carrés : La solution de la régression linéaire par moindres carrés correspond à la projection orthogonale du vecteur y sur l’espace M(x). La droite de régression est donc la projection de y dans M(x), et les résidus sont orthogonaux à cet espace.

• Visualisation géométrique des résidus : Les résidus (ˆεi) représentent le vecteur orthogonal à l’espace M(x), c’est-à-dire la différence entre y et sa projection ŷ. Selon AUTEUR (date), cette orthogonalité garantit que la projection est la meilleure approximation dans l’espace considéré.

📝 Points essentiels

• La régression linéaire peut être interprétée comme une projection orthogonale du vecteur y sur l’espace M(x) = span{1, x}, défini par la combinaison linéaire β0 + β1x.
• La solution du problème de moindres carrés consiste à trouver le vecteur ŷ dans M(x) qui minimise la norme euclidienne de y - ŷ, ce qui revient à projeter y orthogonalement sur M(x).
• La droite de régression MCO est la projection orthogonale de y sur M(x), ce qui implique que les résidus (ˆεi) sont orthogonaux à l’espace M(x).
• La visualisation géométrique montre que les résidus sont perpendiculaires à la droite de régression, assurant la propriété d’orthogonalité qui caractérise la meilleure approximation dans le cadre du modèle linéaire.

💡 À retenir

L’interprétation géométrique de la régression linéaire comme projection orthogonale permet de comprendre que la droite MCO est la meilleure approximation de y dans l’espace engendré par 1 et x, avec des résidus orthogonaux à cette droite, garantissant la minimisation de la somme des carrés des erreurs.

📖 7. Mesure de l'ajustement

🔑 Notions clés & Définitions

• Somme des carrés des résidus (RSS) : Mesure du manque d’ajustement du modèle, calculée comme la somme des carrés des différences entre les valeurs observées $y_i$ et les valeurs prédites $\hat{y}_i$. (Source : Chap 2, Régression linéaire simple, Lèbre)
• Variance résiduelle estimée $\hat{\sigma}^2$ : Estimation de la variance des erreurs $\varepsilon_i$, donnée par $\hat{\sigma}^2 = \frac{RSS}{n - p}$, où $n$ est le nombre d’observations et $p$ le nombre de paramètres estimés. (Source : Chap 2, Régression linéaire simple, Lèbre)
• Interprétation de RSS : La somme des carrés des résidus quantifie l’erreur absolue d’ajustement du modèle ; un RSS faible indique un bon ajustement, c’est une mesure dans les unités de $y$. (Source : Chap 2, Régression linéaire simple, Lèbre)
• Minimisation de RSS dans la méthode MCO : La méthode des Moindres Carrés Ordinaires (MCO) consiste à choisir les coefficients $\hat{\beta}_0, \hat{\beta}_1$ qui minimisent la somme des carrés des résidus, assurant ainsi le meilleur ajustement linéaire. (Source : Chap 2, Régression linéaire simple, Lèbre)
• Relation entre RSS et qualité de la prédiction : Plus le RSS est faible, meilleure est la capacité du modèle à prédire les valeurs observées, ce qui indique une meilleure qualité d’ajustement. La réduction du RSS améliore la précision des prédictions. (Source : Chap 2, Régression linéaire simple, Lèbre)

📝 Points essentiels

• La RSS est calculée comme $\sum_{i=1}^n (y_i - \hat{y}_i)^2$, où $y_i$ sont les valeurs observées et $\hat{y}_i$ les valeurs prédites par le modèle.
• La variance résiduelle estimée $\hat{\sigma}^2$ est liée à la RSS par la formule $\hat{\sigma}^2 = \frac{RSS}{n - p}$, avec $p$ le nombre de paramètres (pour une régression simple, $p=2$).
• La minimisation de RSS est le principe fondamental de la méthode MCO, qui cherche à ajuster la droite de régression pour réduire l’erreur totale.
• La relation entre RSS et la qualité de la prédiction : un RSS faible indique que le modèle explique bien la variabilité des données, tandis qu’un RSS élevé signale un mauvais ajustement.
• La mesure absolue de l’erreur d’ajustement (RSS) est dans les unités de $y$, ce qui facilite son interprétation pratique.

💡 À retenir

Le RSS quantifie l’erreur totale du modèle en sommant les carrés des écarts entre valeurs observées et prédites ; sa minimisation par la méthode MCO garantit le meilleur ajustement linéaire possible dans le cadre du modèle.

📖 8. Coefficient de détermination R2

🔑 Notions clés & Définitions

• TSS (Total Sum of Squares) : Quantité totale de variabilité dans la variable réponse y avant toute modélisation, calculée comme la somme des carrés des écarts à la moyenne, soit $\sum_{i=1}^n (y_i - \bar{y})^2$.
• ESS (Explained Sum of Squares) : Part de la variabilité de y expliquée par le modèle de régression, donnée par $\sum_{i=1}^n (\hat{y}_i - \bar{y})^2$.
• RSS (Residual Sum of Squares) : Variabilité résiduelle non expliquée par le modèle, calculée comme $\sum_{i=1}^n (y_i - \hat{y}_i)^2$.
• R² (Coefficient de détermination) : Mesure de la proportion de variance de y expliquée par le modèle, défini par $R^2 = \frac{ESS}{TSS} = 1 - \frac{RSS}{TSS}$.
• Interprétation de R² : Proportion de la variabilité totale de y qui est expliquée par la régression ; un R² proche de 1 indique un bon ajustement, proche de 0 indique un modèle peu explicatif.

📝 Points essentiels

• La décomposition de la variance totale (TSS) en variance expliquée (ESS) et résiduelle (RSS) est fondamentale pour évaluer la qualité du modèle.
• Le coefficient R², compris entre 0 et 1, indique la part de la variance de y expliquée par la régression.
• Un R² de 1 correspond à une régression parfaite où $y = \hat{y}$, c’est-à-dire que toutes les observations sont parfaitement ajustées par le modèle.
• Un R² de 0 indique que le modèle ne fournit aucune information supplémentaire par rapport à la moyenne $\bar{y}$, rendant la régression inutile.
• Sur le dataset Advertising, un R² de 0.612 pour la régression sur TV signifie que 61,2 % de la variabilité des ventes est expliquée par le budget publicitaire TV.
• La formule numérique : si RSS = 2102.53 et TSS = 3444.11, alors $R^2 = 1 - \frac{RSS}{TSS} \approx 0.612$.
• La valeur de R² doit être interprétée avec précaution : un R² élevé ne garantit pas la causalité ou la validité du modèle, mais indique simplement une corrélation forte.

💡 À retenir

Le coefficient de détermination R² quantifie la capacité du modèle à expliquer la variabilité de la variable réponse, allant de 0 (modèle inutile) à 1 (modèle parfait).

📖 9. Évaluation du modèle

🔑 Notions clés & Définitions

• RSS (Residual Sum of Squares) : Somme des carrés des résidus, mesure du manque d’ajustement du modèle. Plus le RSS est faible, meilleure est la qualité de l’ajustement.
• R² (Coefficient de détermination) : Proportion de la variance totale de la variable réponse expliquée par le modèle. Définie par "R2 = ESS / TSS" où ESS est la somme des carrés expliquée et TSS la variance totale (voir décomposition de la variance).
• E[εi] = 0 (hypothèse d’erreur centrée) : L’espérance mathématique des erreurs est nulle, garantissant l’absence de biais dans l’estimation des coefficients (voir modèle linéaire).
• Gauss-Markov (1950) : Théorème qui affirme que, sous certaines hypothèses, l’estimateur MCO est le meilleur estimateur linéaire sans biais, avec la variance la plus faible (BLUE).
• Adjusted R² (R² ajusté) : Version corrigée du R² qui pénalise le nombre de variables dans le modèle, évitant la sur-optimisation.

📝 Points essentiels

• RSS est une mesure absolue du manque d’ajustement, calculée par la somme des carrés des résidus (ε̂i). Un RSS faible indique un bon ajustement. La formule est :
  $RSS = \sum_{i=1}^n (yi - \hat{yi})^2$
• La décomposition de la variance :
  $TSS = ESS + RSS$ où TSS est la variance totale, ESS la variance expliquée par le modèle, et RSS la variance résiduelle.
• Le coefficient R² :
  $R^2 = 1 - \frac{RSS}{TSS}$ indique la proportion de variance de y expliquée par le modèle. R²=1 correspond à une régression parfaite, R²=0 à une absence d’explication (modèle nul).
• La valeur de R² est souvent accompagnée de l’adjusted R² pour éviter la sur-optimisation avec plusieurs variables.
• La valeur de p associée aux coefficients (via la statistique t) permet de tester leur significativité. Un p-value faible (< 0,05) indique que le coefficient est statistiquement significatif.
• La fonction lm() en R permet d’ajuster un modèle linéaire multiple, et la fonction summary() fournit une analyse détaillée incluant coefficients, erreurs standards, valeurs t, p-values, R², et ajusté R².

💡 À retenir

L’évaluation du modèle repose principalement sur le RSS et le R², qui mesurent respectivement l’erreur d’ajustement et la proportion de variance expliquée. La validité des coefficients est vérifiée par leur significativité statistique via p-values, et le théorème de Gauss-Markov garantit que l’estimateur MCO est optimal sous certaines hypothèses.

📖 10. Régression multiple et modèles avancés

🔑 Notions clés & Définitions

• Régression multiple : Extension de la régression linéaire simple où plusieurs variables explicatives sont incluses dans le modèle pour expliquer la variable réponse. Elle permet d’évaluer l’effet simultané de plusieurs prédicteurs sur la réponse (voir chapitre 2).

• Estimateurs MCO (Moindres Carrés Ordinaires) : Estimateurs des coefficients du modèle qui minimisent la somme des carrés des erreurs entre la valeur observée et la valeur prédite par le modèle. Ils sont sans biais et optimaux selon le théorème de Gauss-Markov (voir chapitre 2).

• Propriété d’optimalité (Gauss-Markov) : L’estimateur MCO est le meilleur estimateur linéaire sans biais, avec la variance la plus faible parmi tous les estimateurs linéaires (voir chapitre 2).

• Multicolinéarité : Situation où plusieurs variables explicatives dans un modèle sont fortement corrélées entre elles, ce qui peut rendre difficile l’estimation précise des coefficients et augmenter leur variance (concept avancé en modèles multivariés).

• Coefficient de détermination ajusté (R² ajusté) : Mesure de la proportion de variance expliquée par le modèle, corrigée pour le nombre de variables explicatives, permettant d’éviter la sur-optimisation avec trop de prédicteurs (voir chapitre 8).

📝 Points essentiels

• La régression multiple permet d’évaluer l’impact de plusieurs variables explicatives simultanément, en tenant compte de leur corrélation et de leur contribution spécifique à la variable réponse.

• Les estimateurs MCO en régression multiple sont obtenus en résolvant un système d’équations basé sur la minimisation de la somme des carrés des résidus, générant des coefficients linéaires en les données (voir chapitre 2).

• La variance des estimateurs, notamment celle de la pente, dépend de la dispersion des variables explicatives : plus celles-ci sont dispersées, plus l’estimation est précise (voir chapitre 6).

• La significativité des coefficients est testée via la statistique t, en comparant l’estimation à son erreur standard, pour déterminer si chaque prédicteur a un effet statistiquement significatif sur la réponse.

• La multicolinéarité peut compromettre la stabilité des estimateurs, augmenter leur variance, et rendre difficile l’interprétation des coefficients. Des méthodes comme la variance inflation factor (VIF) permettent de la diagnostiquer.

• La validation du modèle inclut l’analyse des résidus, la vérification des hypothèses (centrage, homoscédasticité, absence de corrélation), et l’évaluation de la qualité d’ajustement via R² ajusté.

💡 À retenir

La régression multiple est une extension puissante de la régression simple, permettant d’intégrer plusieurs variables explicatives, mais elle nécessite de contrôler la multicolinéarité et de tester la significativité des coefficients pour assurer la fiabilité du modèle.

📊 Tableaux de Synthèse

⚠️ Pièges & Confusions Fréquentes

1. Confondre la relation causale et la corrélation dans la régression.
2. Oublier que la droite passe par $(\bar{x}, \bar{y})$, ce qui est une propriété fondamentale.
3. Confondre variance des estimateurs et variance des erreurs.
4. Ignorer l’hypothèse d’indépendance des erreurs, menant à des estimations biaisées.
5. Utiliser la R² comme seul critère d’ajustement sans analyser les résidus.
6. Confondre la variance de l’estimateur $\hat{\beta}_1$ avec la variance de la variable x.
7. Négliger la vérification des hypothèses (homoscédasticité, normalité, indépendance).
8. Mal interpréter la signification statistique des coefficients sans test de significativité.
9. Utiliser la régression simple pour modéliser des relations non linéaires.
10. Confondre la corrélation et la causalité dans l’interprétation des résultats.
11. Omettre de vérifier la présence de valeurs aberrantes ou influentes.

✅ Checklist Examen

1. Connaître la définition de la régression linéaire simple selon S. Lèbre (Chap 2).
2. Savoir écrire le modèle $y \approx \beta_0 + \beta_1 x$ avec ses hypothèses (εi centrée, homoscédastique, εi non corrélée).
3. Maîtriser la notation vectorielle y, x, ε et leur rôle dans la modélisation.
4. Connaître la formule de l’estimateur $\hat{\beta}_1 = \frac{\text{cov}(x,y)}{\text{var}(x)}$ et $\hat{\beta}_0 = \bar{y} - \hat{\beta}_1 \bar{x}$.
5. Comprendre que la droite passe par $(\bar{x}, \bar{y})$ et la signification géométrique de la relation.
6. Savoir que la méthode MCO minimise la somme des carrés des résidus et possède la propriété de BLUE.
7. Être capable d’interpréter la R² comme la proportion de variance expliquée par le modèle.
8. Connaître la formule de l’estimateur de la variance des erreurs $\hat{\sigma}^2 = \frac{RSS}{n-2}$.
9. Savoir que la propriété d’indépendance et d’homoscédasticité des erreurs est essentielle pour la validité du modèle.
10. Connaître la différence entre régression simple et multiple, et les extensions possibles.
11. Vérifier la maîtrise du vocabulaire : "coefficient de détermination", "RSS", "variance", "hypothèses du modèle".
12. Vérifier la compréhension des principaux pièges : confusion entre corrélation et causalité, mauvaise interprétation de R², négligence des hypothèses.