QCM : Régression linéaire Ridge — 23 questions

Explication

La procédure consiste à calculer GCV pour les valeurs $\lambda_1,\ldots,\lambda_q$ d’une grille, puis à sélectionner la valeur minimisant le critère. Maximiser GCV ou se baser uniquement sur l’erreur d’ajustement ne correspond pas à cette règle de choix.

Explication

Ridge limite la norme $\ell_2$ des coefficients, c’est-à-dire $\|z\|_2^2$. La contrainte fondée sur la somme des valeurs absolues correspond plutôt au Lasso, qui utilise une norme $\ell_1$.

Explication

L’estimateur MCO est sans biais et, parmi les estimateurs linéaires sans biais, il atteint la variance minimale. Le biais introduit par Ridge constitue une propriété différente, liée à la régularisation.

Explication

La SVD transforme la matrice à inverser en une matrice diagonale $D^2+\lambda I_p$, dont l’inversion se fait terme par terme. La factorisation ne supprime pas la pénalité et les matrices $V$ restent nécessaires dans la reconstruction de l’inverse.

Explication

La colonne de 1 permet d’associer la constante $\beta_0$ à chaque observation dans l’écriture $Y=X\beta+\varepsilon$. Elle ne décrit ni la variance des erreurs ni le vecteur aléatoire des perturbations.

Explication

Lorsque la contrainte est assez large, l’estimateur MCO reste admissible et Ridge coïncide avec lui. À l’inverse, le choix $t=0$ conduit à l’estimateur nul, ce qui rend les deux situations opposées.

Explication

L’estimateur MCO choisit les coefficients qui minimisent $\|Y-Xz\|^2$, c’est-à-dire la somme des carrés des résidus. L’ajout d’une pénalité aux coefficients caractérise plutôt une méthode régularisée comme Ridge.

Explication

La solution explicite de Ridge est obtenue en remplaçant la matrice des produits croisés par $X^TX+\lambda I_p$, puis en la multipliant par $X^TY$. Le terme de régularisation s’ajoute dans la matrice à inverser et ne se place pas après l’estimation MCO.

Explication

Le retour aux unités originales multiplie le coefficient standardisé par l’écart-type correspondant, selon $\hat\beta^{ridge}_j=\hat\alpha^{ridge}_j s_j$. La division par $s_j$ correspondrait à une transformation inverse mal appliquée dans cette convention.

Explication

La norme $\ell_1$ vaut $\sum_{j=1}^p|\beta_j|$, alors que la norme $\ell_2$ vaut $\sqrt{\sum_{j=1}^p\beta_j^2}$. La confusion fréquente consiste à attribuer à $\ell_1$ la racine de la somme des carrés.

Explication

Le critère GCV met au numérateur l’erreur ajustée $\|Y-A(\lambda)Y\|^2$ et au dénominateur $\left(\operatorname{trace}(I_n-A(\lambda))\right)^2/n$. Les autres expressions modifient soit le dénominateur, soit la puissance de la norme, soit la matrice intervenant dans l’erreur.

Explication

Ridge est biaisé, car son espérance vaut une transformation régularisée de $\beta$, mais sa variance est inférieure à celle de MCO. Le gain de stabilité provient donc d’un compromis entre davantage de biais et moins de variance.

Explication

Ridge fournit une solution lorsque le nombre de régresseurs est supérieur à la taille de l’échantillon, cas où les MCO ne donnent pas de solution unique. Des échelles différentes ou le centrage de la réponse ne constituent pas, à eux seuls, la condition caractéristique décrite ici.

Explication

Avec des variables explicatives centrées et une réponse centrée, la formulation du modèle ne comporte pas de constante. La moyenne de la réponse intervient plutôt dans l’interprétation d’un modèle avec interception avant centrage.

Explication

La variance de l’estimateur MCO est donnée par $\sigma^2(X^TX)^{-1}$. Le produit $X^TX$ intervient donc par son inverse, et l’expression contenant $X^TY$ correspond à l’estimation elle-même plutôt qu’à sa variance.

Explication

Des régresseurs fortement corrélés rendent l’estimation des effets individuels instable, ce qui augmente la variance et peut dégrader les prévisions. Cette difficulté explique notamment l’intérêt de méthodes de régularisation comme Ridge.

Explication

La formule explicite MCO utilise l’inverse de $X^TX$ et exige donc que cette matrice soit inversible. Une moyenne nulle des variables peut simplifier l’interprétation, mais ne garantit pas cette inversibilité.

Explication

La décomposition SVD factorise $X$ sous la forme $UDV^T$, en associant à $U$ des colonnes orthonormées, à $D$ une structure diagonale et à $V$ une structure orthogonale. L’expression avec $D^{-1}$ ne décrit pas la décomposition elle-même, mais pourrait intervenir dans d’autres calculs.

Explication

L’ajout de $\lambda I_p$ rend $X^TX+\lambda I_p$ inversible dès que $\lambda>0$, ce qui garantit l’existence de la solution Ridge. La méthode ne nécessite pas de supprimer les variables ni de modifier le produit $X^TY$.

Explication

Le modèle linéaire multiple additionne une constante, les effets des variables explicatives et une erreur aléatoire. La variance $\sigma^2$ décrit la dispersion des erreurs, mais ne remplace pas le terme d’erreur individuel $\varepsilon_j$.

Explication

La régression Ridge maintient tous les régresseurs dans le modèle, même lorsqu’ils sont fortement corrélés, en réduisant leurs coefficients. Une méthode de sélection agit différemment en retirant certains régresseurs du modèle.

Explication

La procédure consiste à calculer les moyennes et écarts-types, à centrer-réduire les variables, à ajuster Ridge, puis à transformer les coefficients vers les unités originales. La standardisation ne remplace donc ni l’estimation sur les données réduites ni la reconversion finale.

Explication

La formulation Ridge ajoute au résidu quadratique une pénalité $\lambda\|z\|_2^2$, avec $\lambda>0$. Une pénalité en norme $\ell_1$ caractérise plutôt le Lasso, tandis qu’un signe négatif ne régularise pas le problème de la manière requise.