Régression Lasso et Elastic Net

📋 Plan du Cours

1. Données et modèle linéaire
2. Principe de la régression Lasso
3. Chemins et algorithme FSA
4. Descente de coordonnées Lasso
5. Choix du paramètre de régularisation
6. Méthode Elastic Net

📖 1. Données et modèle linéaire

🔑 Notions clés & Définitions

• Modèle linéaire : S’écrit $Y=X\beta+\varepsilon$, où Y est le vecteur réponse, X la matrice des variables explicatives, β le vecteur des paramètres et ε le vecteur des erreurs.

★ À maîtriser

• Les données comprennent n observations de p variables explicatives quantitatives et d’une variable réponse Y.

📐 Formule — Lorsque l’inverse existe, l’estimateur des moindres carrés ordinaires est $\hat\beta_{MCO}=(X^TX)^{-1}X^TY$.

Compléments

📌 Les variables explicatives sont centrées et réduites, avec $\frac{1}{n}\sum_{j=1}^{n}x_{j,k}=0$ et $\frac{1}{n}\sum_{j=1}^{n}x_{j,k}^{2}=1$ pour tout k, tandis que Y est centrée.

📖 2. Principe de la régression Lasso

🔑 Notions clés & Définitions

• Estimateur Lasso : Tibshirani, 1996 — Minimise la somme des carrés des résidus sous la contrainte $\|z\|_1\le t$, où t est un réel strictement positif.