Fiche de révision : Régression linéaire Ridge

📋 Plan du Cours

1. Modèle linéaire et estimateur MCO
2. Limites des moindres carrés
3. Centrage, réduction et normes
4. Principe de la régularisation Ridge
5. Estimateur Ridge et propriétés
6. Choix de la pénalité
7. Calcul par décomposition SVD
8. Mise en œuvre et interprétation

📖 1. Modèle linéaire et estimateur MCO

🔑 Notions clés & Définitions

• Modèle linéaire multiple : Le modèle linéaire multiple relie une variable réponse aux variables explicatives par $Y_j=\beta_0+\beta_1x_{j,1}+\cdots+\beta_px_{j,p}+\varepsilon_j$, où les erreurs sont centrées, indépendantes, de même loi et de variance $\sigma^2$.
• Estimateur MCO : L’estimateur des moindres carrés ordinaires minimise la somme des carrés des résidus selon $\hat\beta_{MCO}=\arg\min_z\|Y-Xz\|^2$.

📝 Points essentiels

📐 Formule — Sous forme vectorielle, le modèle linéaire s’écrit $Y=X\beta+\varepsilon$, avec une matrice augmentée d’une colonne de 1 pour intégrer la constante.

📐 Formule — Si $X^TX$ est inversible, l’estimateur MCO vaut $\hat\beta_{MCO}=(X^TX)^{-1}X^TY$.

📖 2. Limites des moindres carrés

★ À maîtriser

• L’estimateur MCO est sans biais et possède, parmi les estimateurs linéaires sans biais, la variance minimale.

📐 Formule — La variance de l’estimateur MCO est $\operatorname{Var}(\hat\beta_{MCO})=\sigma^2(X^TX)^{-1}$.

• Une forte colinéarité ou multicolinéarité entre les régresseurs peut rendre importante la variance de l’estimateur MCO et dégrader les prévisions.

Compléments

• Dans le jeu de données cigarette, la corrélation entre le taux de goudron et le taux de nicotine vaut 0,96.

💡 Astuce mémo

Colinéarité → variance élevée → prévisions instables

📖 3. Centrage, réduction et normes

★ À maîtriser

📐 Formule — Pour des variables centrées et réduites, les normes utilisées sont $\|\beta\|_1=\sum_{j=1}^p|\beta_j|$ et $\|\beta\|_2=\sqrt{\sum_{j=1}^p\beta_j^2}$.

📌 Dans la suite du cours, les variables explicatives sont centrées et réduites et la variable réponse est centrée, de sorte que la constante n’est pas modélisée.

Compléments

📌 Lorsque les variables explicatives sont centrées, la constante MCO est égale à la moyenne de la réponse et l’estimation des pentes se calcule sans terme de centrage supplémentaire.

📖 4. Principe de la régularisation Ridge

🔑 Notions clés & Définitions

• Régression Ridge : Hoerl et Kennard, Ridge regression : applications to nonorthogonal problems, 1970 — La régression Ridge ajoute au critère des moindres carrés une contrainte sur la norme euclidienne des coefficients, selon $\hat\beta_{Ridge}=\arg\min_z\|Y-Xz\|_2^2\quad\text{sous}\quad\|z\|_2^2\le t$.

★ À maîtriser

📌 Si le seuil t dépasse $\|\hat\beta_{MCO}\|_2^2$, l’estimateur Ridge coïncide avec l’estimateur MCO, tandis que t=0 donne un estimateur nul.

Compléments

• La régularisation Ridge réduit les plages de valeurs des coefficients estimés afin de limiter leur dépendance aux données.

💡 Astuce mémo

MCO sans contrainte, Ridge avec contrainte

📖 5. Estimateur Ridge et propriétés

📝 Points essentiels

📐 Formule — La formulation pénalisée de Ridge est $\hat\beta_\lambda=\arg\min_z\{\|Y-Xz\|_2^2+\lambda\|z\|_2^2\}$ avec $\lambda>0$.

📐 Formule — L’estimateur Ridge possède la solution explicite $\hat\beta_\lambda=(X^TX+\lambda I_p)^{-1}X^TY$.

📌 Même lorsque $X^TX$ n’est pas inversible, la matrice $X^TX+\lambda I_p$ est inversible pour $\lambda>0$, ce qui garantit l’existence de l’estimateur Ridge.

📐 Formule — L’estimateur Ridge est biaisé avec $E(\hat\beta_\lambda)=(X^TX+\lambda I_p)^{-1}X^TX\beta$, mais sa variance est inférieure à celle de MCO lorsque celui-ci existe.

💡 Astuce mémo

Biais accru, variance réduite

📖 6. Choix de la pénalité

★ À maîtriser

📐 Formule — Le critère de validation croisée généralisée est $GCV(\lambda)=\frac{\|Y-A(\lambda)Y\|^2}{(\operatorname{trace}(I_n-A(\lambda)))^2/n}$ avec $A(\lambda)=X(X^TX+\lambda I_p)^{-1}X^T$. — Golub et al., Generalized cross-validation as a method for choosing a good ridge parameter, 1979

• La pénalité optimale est choisie en évaluant GCV sur une grille $\lambda_1,\ldots,\lambda_q$ puis en retenant la valeur qui minimise ce critère.

Compléments

• Dans le jeu de données cigarette, les erreurs de prévision sont de 1,312 pour le modèle complet, 1,155 pour le modèle réduit et 1,302 pour Ridge.

💡 Astuce mémo

Valeurs de λ → GCV → λ optimal

📖 7. Calcul par décomposition SVD

🔑 Notions clés & Définitions

• Décomposition SVD : La décomposition en valeurs singulières écrit la matrice X sous la forme $X=UDV^T$, où U possède des colonnes orthonormées, D est diagonale et V est orthogonale.

★ À maîtriser

📐 Formule — Avec la SVD, l’inverse nécessaire est $S_\lambda^{-1}=V(D^2+\lambda I_p)^{-1}V^T$, ce qui revient à inverser une matrice diagonale.

Compléments

📐 Formule — La décomposition SVD donne $X^TX=VD^2V^T$, de sorte que les valeurs diagonales de D sont les racines carrées des valeurs propres de $X^TX$.

📐 Formule — La matrice de lissage s’écrit $A(\lambda)=U\Delta_\lambda U^T$ avec $\Delta_\lambda=\operatorname{diag}\left(\frac{d_1^2}{d_1^2+\lambda},\ldots,\frac{d_p^2}{d_p^2+\lambda}\right)$.

💡 Astuce mémo

SVD → diagonale → GCV rapide

📖 8. Mise en œuvre et interprétation

📝 Points essentiels

📐 Formule — Pour revenir aux variables originales, les coefficients Ridge vérifient $\hat\beta^{ridge}_j=\hat\alpha^{ridge}_js_j$ et $\hat\beta^{ridge}_0=m_Y-\sum_{j=1}^p\hat\alpha^{ridge}_j\frac{m_j}{s_j}$.

• La mise en œuvre pratique consiste à calculer les moyennes et écarts-types, centrer-réduire les variables, estimer Ridge sur ces données, puis transformer les coefficients obtenus vers les unités originales.

📌 La régression Ridge conserve tous les régresseurs, même fortement corrélés, tandis qu’une sélection de variables élimine certains régresseurs.

• La régression Ridge fournit une solution lorsque le nombre de régresseurs est supérieur à la taille de l’échantillon, situation dans laquelle MCO ne fournit pas de solution unique.

💡 Astuce mémo

Centrer-réduire → estimer → revenir aux unités originales

📊 Tableaux de synthèse

Comparaison MCO et Ridge