Fiche de révision : Régression linéaire

📋 Plan du Cours

1. Statistiques descriptives des variables
2. Covariance entre deux variables
3. Coefficient de corrélation linéaire
4. Critère des moindres carrés
5. Droite de régression simple
6. Mesure de l’ajustement
7. Régression et représentation vectorielle
8. Régression linéaire multiple
9. Extensions et limites

📖 1. Statistiques descriptives des variables

🔑 Notions clés & Définitions

• Moyenne : La moyenne d’une variable x est $\frac{1}{n}\sum_{i=1}^{n}x_i$.
• Variance : La variance d’une variable x est $\frac{1}{n}\sum_{i=1}^{n}(x_i-\bar{x})^2$.
• Écart-type : L’écart-type d’une variable x est $\sigma_x=\sqrt{\operatorname{var}(x)}$.

📝 Points essentiels

• Pour les étudiants d’AgroParisTech, la taille moyenne est de 171,96 cm et le poids moyen est de 62,36 kg.

📖 2. Covariance entre deux variables

🔑 Notions clés & Définitions

• Covariance : La covariance entre x et y est $\operatorname{cov}(x,y)=\frac{1}{n}\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})$.

★ À maîtriser

📌 L’inégalité de Cauchy-Schwarz donne $\langle u,v\rangle^2\leq\|u\|^2\|v\|^2$ et entraîne $\operatorname{cov}(x,y)^2\leq\operatorname{var}(x)\operatorname{var}(y)$.

• La covariance peut être positive, négative ou nulle, s’exprime dans l’unité produit des variables et vérifie $\operatorname{var}(x)=\operatorname{cov}(x,x)$.

Compléments

📐 Formule — Pour $u=a+bx$ et $v=c+dy$, la covariance transformée vérifie $\operatorname{cov}(u,v)=bd\operatorname{cov}(x,y)$.

📐 Formule — La covariance vérifie $\operatorname{cov}(x,y)=\frac{1}{n}\langle x-\bar{x}\mathbf{1},y-\bar{y}\mathbf{1}\rangle$.

💡 Astuce mémo

Centrage des variables → produit des écarts → covariance

📖 3. Coefficient de corrélation linéaire

🔑 Notions clés & Définitions

• Coefficient de corrélation : Le coefficient de corrélation entre x et y est $\operatorname{cor}(x,y)=\frac{\operatorname{cov}(x,y)}{\sqrt{\operatorname{var}(x)\operatorname{var}(y)}}$.

★ À maîtriser

📌 Le coefficient de corrélation est sans dimension et appartient à l’intervalle $[-1,+1]$.

• Le coefficient de corrélation mesure l’intensité d’une relation linéaire entre les variables x et y, sans mesurer toutes les relations possibles.

Compléments

• Pour les données de taille et de poids, la covariance vaut 70,78 cm·kg et la corrélation vaut 0,79.

💡 Astuce mémo

Covariance dépend des unités, corrélation n’en dépend pas

📖 4. Critère des moindres carrés

🔑 Notions clés & Définitions

• Critère des moindres carrés : Le critère des moindres carrés d’une droite $y=a+bx$ est $C(a,b)=\sum_{i=1}^{n}(y_i-a-bx_i)^2$.

📝 Points essentiels

📌 La régression de y sur x ajuste $y_i\simeq a+bx_i$, tandis que la régression de x sur y ajuste $x_i\simeq a'+b'y_i$.

📖 5. Droite de régression simple

🔑 Notions clés & Définitions

• Droite de régression : La droite d’équation $y=a^*+b^*x$, où b* est la pente et a* l’ordonnée à l’origine.

★ À maîtriser

📐 Formule — Les coefficients qui minimisent le critère des moindres carrés sont $b^*=\frac{\operatorname{cov}(x,y)}{\operatorname{var}(x)}$ et $a^*=\bar{y}-b^*\bar{x}$.

Compléments

• La droite de régression passe par le point moyen $(\bar{x},\bar{y})$ et ses coefficients ont des unités homogènes à celles des variables.

• Pour la taille et le poids, la régression du poids sur la taille a pour ordonnée à l’origine −89,58 kg et pour pente 0,88 kg/cm.

💡 Astuce mémo

Une droite passant par le point moyen (x̄, ȳ)

📖 6. Mesure de l’ajustement

🔑 Notions clés & Définitions

• Coefficient de détermination : Pour une approximation $\hat{y}_i=a+bx_i$, le coefficient d’ajustement est $R^2(a,b)=\operatorname{cor}(\hat{y},y)^2$.

★ À maîtriser

📐 Formule — Pour les coefficients des moindres carrés, le coefficient de détermination vérifie $R^2(a^*,b^*)=\operatorname{cor}(x,y)^2$.

Compléments

• Pour les données de taille et de poids, une corrélation de 0,79 donne $R^2=0{,}62$.

📖 7. Régression et représentation vectorielle

🔑 Notions clés & Définitions

• Produit matrice vecteur : Pour une matrice U de dimension m×p et un vecteur v de dimension p, un vecteur de dimension m dont la composante i vaut $\sum_{j=1}^{p}u_{ij}v_j$.

📝 Points essentiels

📐 Formule — Dans la forme vectorielle de la régression simple, $X=[\mathbf{1}\ \ x]$, $b=[a\ \ b]^\top$, $\hat{y}=Xb$ et $C(a,b)=\|y-\hat{y}\|^2$.

📖 8. Régression linéaire multiple

★ À maîtriser

📐 Formule — Le critère des moindres carrés multiple est $C(b_0,\ldots,b_p)=\sum_{i=1}^{n}\left(y_i-\sum_{j=0}^{p}b_jx_{ij}\right)^2=\|y-Xb\|^2$.

• La régression linéaire multiple approxime chaque réponse par $y_i\simeq b_0+b_1x_{i1}+\cdots+b_px_{ip}$, soit $Xb\simeq y$.

📌 La régression multiple n’est pas équivalente à un ensemble de régressions simples sur chacune des variables.

Compléments

• Dans l’exemple des salles de cinéma, la régression multiple est $\hat{y}_i=-5{,}45+0{,}0268x_{i1}+4{,}09x_{i2}+0{,}00664x_{i3}+2{,}02x_{i4}$.

📖 9. Extensions et limites

★ À maîtriser

📌 La droite de régression est définie par un critère asymétrique entre x et y, tandis que l’analyse en composantes principales recherche une droite selon un critère symétrique.

Compléments

📐 Formule — Pour la régression multiple, l’ajustement peut être mesuré par $R^2=\operatorname{cor}(Xb^*,y)^2$, égal à 0,72 dans l’exemple des salles de cinéma.

• La réduction de dimension est surtout utile pour résumer p≫2 variables.

• Le critère des moindres carrés est sensible aux valeurs extrêmes, comme l’illustre la variation des coefficients lorsque Paris est retiré de l’exemple des salles de cinéma.

💡 Astuce mémo

Régression asymétrique, ACP symétrique

📊 Tableaux de synthèse

Régression simple et multiple