Comment s'écrit le modèle linéaire ?
Le modèle linéaire s'écrit .
Que comprennent les données en régression linéaire ?
Elles comprennent n observations de p variables explicatives quantitatives et une variable réponse Y.
Quelle condition impose la centration des variables explicatives ?
La moyenne de chaque variable explicative est nulle, soit .
Quelle condition impose la réduction des variables explicatives ?
La variance de chaque variable explicative est égale à 1, soit .
Quelle condition impose la centration de la variable réponse Y ?
La variable réponse Y est centrée, donc sa moyenne est nulle.
Quelle est la formule de l'estimateur des moindres carrés ordinaires ?
lorsque l'inverse existe.
Qu'impose la contrainte de l'estimateur Lasso ?
La norme doit être inférieure ou égale à un réel strictement positif .
Que se passe-t-il si pour la solution Lasso ?
La solution Lasso coïncide avec l'estimateur MCO.
Quelle propriété distingue le Lasso dans la sélection des variables ?
Le Lasso peut annuler certaines composantes de l'estimateur pour sélectionner automatiquement les variables.
Quelle est la fonction pénalisée minimisée dans la formulation du Lasso ?
avec .
Que retrouve-t-on pour dans la formulation Lasso ?
Les moindres carrés ordinaires.
Que devient l'estimateur Lasso quand tend vers l'infini ?
L'estimateur Lasso tend vers zéro.
Comment évoluent les coefficients Lasso lorsque augmente ?
Les coefficients sont davantage rétrécis.
Qui a introduit l'estimateur Lasso et en quelle année ?
Tibshirani en 1996.
Que décrivent les chemins de régularisation quand λ varie ?
Ils décrivent l’évolution de chaque coefficient estimé.
Que se passe-t-il pour les coefficients quand λ est très grand ?
Tous les coefficients sont nuls.
Que fait l’algorithme Forward Stagewise au départ ?
Il initialise tous les coefficients à zéro et l’ensemble actif E à vide.
Quelle étape suit la sélection de la corrélation absolue maximale dans le FSA ?
La variable est ajoutée à l’ensemble actif E si nécessaire.
Comment sont augmentés les coefficients actifs dans l’algorithme FSA ?
Ils sont augmentés d’un petit pas selon le signe de leur corrélation.
Quelle variable est seule non nulle pour une pénalité inférieure à 3,65 dans l’exemple des cigarettes ?
Le coefficient associé à TAR est non nul.
Quelles variables entrent dans le modèle au-delà d’une pénalité de 3,65 dans l’exemple des cigarettes ?
TN puis Poids entrent dans le modèle.
Quelles sont les valeurs des coefficients à l’arrêt du FSA dans l’exemple des cigarettes ?
, , .
Qu'est-ce que la descente de coordonnées minimise successivement ?
Une fonction par rapport à une seule coordonnée.
Quelle est la formule de mise à jour pour β_j aux MCO avec le résidu partiel ?
Comment s'exprime la mise à jour par seuillage doux pour le Lasso ?
Quand le seuillage doux donne-t-il ?
Lorsque .
Que fait le seuillage doux si ?
Il rapproche de zéro de .
Quelle est la première étape de l'algorithme CDA selon Friedman, Hastie et Tibshirani (2010) ?
Initialiser .
Que calcule l'algorithme CDA après avoir initialisé ?
Chaque résidu partiel successivement.
Quelle est la séquence d'opérations répétée par l'algorithme CDA jusqu'à convergence ?
Mise à jour par MCO, seuillage doux, passage sur coordonnées.
Comment choisit-on le paramètre t ou λ en régularisation ?
On calcule les solutions pour une suite de paramètres.
Quelle méthode estime l'erreur de prédiction pour choisir le paramètre ?
La validation croisée par blocs.
Quel critère détermine le paramètre retenu en régularisation ?
Le paramètre qui minimise l'erreur de prédiction estimée.
Quelle fonction minimise l'estimateur Elastic Net ?
Il minimise .
Quelles sont les contraintes sur et dans Elastic Net ?
et .
À quoi correspond Elastic Net pour ?
Elastic Net correspond à Ridge.
À quoi correspond Elastic Net pour ?
Elastic Net correspond au Lasso.
Quelle propriété de convexité a le critère Elastic Net ?
Le critère Elastic Net est convexe.
Quand le critère Elastic Net est-il strictement convexe et unique ?
Pour , il est strictement convexe avec une solution unique.
Quelle est la formule de mise à jour Elastic Net par descente de coordonnées ?
.
Comment est défini dans la mise à jour Elastic Net ?
.
Teste tes connaissances avec un QCM de 18 questions sur Régression Lasso et Elastic Net.
1. Une équipe veut sélectionner pour obtenir les meilleures prédictions sur de nouvelles données : quel critère doit-elle privilégier ?
2. Quelle combinaison de pénalités définit l’estimateur Elastic Net ?
Révisez le cours complet dans la fiche de révision de Régression Lasso et Elastic Net.
Voir la fiche →Importe ton cours et l'IA génère des flashcards en 30 secondes.
Générateur de flashcards