Régression Lasso et Elastic Net

📋 Plan du Cours

1. Données et modèle linéaire
2. Principe de la régression Lasso
3. Chemins et algorithme FSA
4. Descente de coordonnées
5. Choix de la régularisation
6. Méthode Elastic Net

📖 1. Données et modèle linéaire

🔑 Notions clés & Définitions

• Données centrées réduites : Les variables explicatives sont centrées et réduites, avec $\frac{1}{n}\sum_{j=1}^n x_{j,k}=0$ et $\frac{1}{n}\sum_{j=1}^n x_{j,k}^2=1$ pour tout k, tandis que la variable Y est centrée.

★ À maîtriser

📐 Formule — Le modèle linéaire s’écrit $Y=X\beta+\varepsilon$, où X est la matrice des données de format n×p et β le vecteur des paramètres.

📐 Formule — Lorsque l’estimateur existe, l’estimateur des moindres carrés ordinaires est $\hat\beta_{MCO}=(X^TX)^{-1}X^TY$.

Compléments

• La matrice X est formée des colonnes X₁,…,Xₚ et vérifie $X_j^TX_j=n$ pour tout j lorsque les variables sont centrées et réduites.

📖 2. Principe de la régression Lasso

🔑 Notions clés & Définitions

• Estimateur Lasso : Tibshirani, 1996 — L’estimateur Lasso minimise la somme des carrés des résidus sous la contrainte $\|z\|_1<t$, avec t strictement positif.