Régression linéaire Ridge

📋 Plan du Cours

1. Modèle linéaire et estimateur MCO
2. Limites des moindres carrés
3. Centrage, réduction et normes
4. Principe de la régularisation Ridge
5. Estimateur Ridge et propriétés
6. Choix de la pénalité
7. Calcul par décomposition SVD
8. Mise en œuvre et interprétation

📖 1. Modèle linéaire et estimateur MCO

🔑 Notions clés & Définitions

• Modèle linéaire multiple : Le modèle linéaire multiple relie une variable réponse aux variables explicatives par $Y_j=\beta_0+\beta_1x_{j,1}+\cdots+\beta_px_{j,p}+\varepsilon_j$, où les erreurs sont centrées, indépendantes, de même loi et de variance $\sigma^2$.
• Estimateur MCO : L’estimateur des moindres carrés ordinaires minimise la somme des carrés des résidus selon $\hat\beta_{MCO}=\arg\min_z\|Y-Xz\|^2$.

📝 Points essentiels

📐 Formule — Sous forme vectorielle, le modèle linéaire s’écrit $Y=X\beta+\varepsilon$, avec une matrice augmentée d’une colonne de 1 pour intégrer la constante.

📐 Formule — Si $X^TX$ est inversible, l’estimateur MCO vaut $\hat\beta_{MCO}=(X^TX)^{-1}X^TY$.

📖 2. Limites des moindres carrés