Flashcards : Régression linéaire Ridge — 51 cartes

Quelle est la forme du modèle linéaire multiple ?

Quelles sont les propriétés des erreurs dans le modèle linéaire multiple ?

Comment s'écrit le modèle linéaire sous forme vectorielle ?

Que minimise l'estimateur des moindres carrés ordinaires (MCO) ?

Quelle est la formule de l'estimateur MCO ?

Quelle condition permet d'inverser $X^TX$ pour calculer l'estimateur MCO ?

Quelle est la formule explicite de l'estimateur MCO si $X^TX$ est inversible ?

Quelle propriété d'estimateur possède l'estimateur MCO parmi les estimateurs linéaires sans biais ?

Quelle est la formule de la variance de l'estimateur MCO ?

Quel effet a une forte colinéarité entre régresseurs sur la variance de l'estimateur MCO ?

Quel impact la multicolinéarité a-t-elle sur les prévisions de l'estimateur MCO ?

Quelle est la valeur de la corrélation entre taux de goudron et taux de nicotine dans le jeu cigarette ?

Quelles sont les normes utilisées pour des variables centrées et réduites ?

Comment se calcule la constante MCO lorsque les variables explicatives sont centrées ?

Comment s'estime les pentes avec des variables explicatives centrées ?

Quelle est la condition sur les variables explicatives dans la suite du cours ?

Quelle est la condition sur la variable réponse dans la suite du cours ?

Pourquoi la constante n’est-elle pas modélisée dans la suite du cours ?

Qu'ajoute la régression Ridge au critère des moindres carrés ?

Quelle est la formule mathématique de l'estimateur Ridge ?

Que se passe-t-il si le seuil t dépasse $\|\hat\beta_{MCO}\|_2^2$ ?

Quel estimateur obtient-on pour t=0 en régularisation Ridge ?

Quel est l'effet de la régularisation Ridge sur les coefficients estimés ?

Quelle est la formulation pénalisée de l'estimateur Ridge ?

Quelle est la solution explicite de l'estimateur Ridge ?

Pourquoi la matrice $X^TX+\lambda I_p$ est-elle inversible pour $\lambda>0$ ?

Quelle propriété garantit l'existence de l'estimateur Ridge ?

L'estimateur Ridge est-il biaisé ?

Quelle est l'espérance de l'estimateur Ridge ?

Comment la variance de l'estimateur Ridge se compare-t-elle à celle des MCO ?

Quelle est la formule du critère de validation croisée généralisée GCV(λ) ?

Comment s'exprime la matrice $A(\lambda)$ dans le critère GCV ?

Quelle méthode choisit la pénalité optimale en utilisant GCV ?

Quelle est l'erreur de prévision du modèle complet dans le jeu de données cigarette ?

Quelle erreur de prévision obtient le modèle réduit sur le jeu de données cigarette ?

Quelle est l'erreur de prévision du modèle Ridge dans le jeu de données cigarette ?

Qui a proposé le critère de validation croisée généralisée pour choisir un bon paramètre de Ridge ?

Comment s'écrit la décomposition SVD d'une matrice X ?

Que donne la décomposition SVD pour $X^TX$ ?

Que représentent les valeurs diagonales de D en SVD ?

Comment s'écrit l'inverse $S_\lambda^{-1}$ avec la SVD ?

Que revient à inverser dans $S_\lambda^{-1}$ ?

Comment s'écrit la matrice de lissage $A(\lambda)$ ?

Quelle est la forme de $\Delta_\lambda$ dans la matrice de lissage ?

Quelle formule donne le coefficient Ridge $\hat\beta^{ridge}_j$ en fonction de $\hat\alpha^{ridge}_j$ et $s_j$ ?

Comment s'exprime le coefficient intercept Ridge $\hat\beta^{ridge}_0$ ?

Quelle est la première étape pratique dans la mise en œuvre de la régression Ridge ?

Que fait-on après avoir centré-réduit les variables dans la régression Ridge ?

Que fait-on après avoir estimé Ridge sur les données centrées-réduites ?

Quelle différence principale existe entre la régression Ridge et une sélection de variables ?

Que fournit la régression Ridge lorsque le nombre de régresseurs dépasse la taille de l’échantillon ?