Fiche de révision : Régression et inférence statistique

📋 Plan du Cours

1. Objectif et portée de la régression
2. Modèle de régression et erreurs
3. Spécification de la fonction
4. Estimation et résidus
5. Variation et distributions d’échantillonnage
6. Tests d’hypothèses
7. Puissance statistique
8. Intervalles de confiance

📖 1. Objectif et portée de la régression

★ À maîtriser

📌 La régression modélise un lien statistique entre des variables et ne permet pas, à elle seule, de conclure à une relation causale.

Compléments

• Les observations disponibles sont représentées par des couples ou vecteurs de données tels que $(y_i,X_i)_{i=1}^{n}$.

💡 Astuce mémo

Lien statistique ≠ causalité

📖 2. Modèle de régression et erreurs

🔑 Notions clés & Définitions

• Modèle de régression : Représentation mathématique de la relation entre une variable dépendante, ou expliquée, et des variables indépendantes, ou explicatives.

★ À maîtriser

📐 Formule - Dans un modèle structurel, la relation s’écrit $y=f(X,\beta)+u$, où $f$ est la fonction de régression, $\beta$ l’ensemble des paramètres et $u$ le terme d’erreur.

• Le terme d’erreur représente notamment les entrées omises pouvant expliquer le résultat et les imperfections de mesure, comme le bruit aléatoire.

📌 Sous l’hypothèse d’exogénéité $E(u\mid X)=0$, l’espérance conditionnelle du résultat vérifie $E(y\mid X)=f(X,\beta)$.

Compléments

• La partie expliquée $f(X,\beta)$ est déterministe dans le modèle, tandis que le terme d’erreur $u$ est stochastique.

📖 3. Spécification de la fonction

★ À maîtriser

📐 Formule - Une régression linéaire simple s’écrit $f(x,\beta)=\beta_0+\beta_1x$.

• La sélection d’une spécification s’appuie sur la visualisation de la distribution conjointe des observations et sur les connaissances théoriques.

• Une spécification complète précise :

  • les variables indépendantes incluses
  • la fonction de régression
  • les hypothèses sur la composante stochastique

📌 Un biais de mauvaise spécification apparaît si la fonction choisie représente mal la relation entre les variables ou si une hypothèse sur l’erreur, telle que $E(u\mid X)=0$, n’est pas respectée.

Compléments

📐 Formule - Une fonction de régression quadratique s’écrit $f(x,\beta)=\beta_0+\beta_1x+\beta_2x^2$.

📐 Formule - Le support présente aussi une forme non linéaire écrite $f(x,\beta)=\beta_1x^{\beta_0+x}$.

💡 Astuce mémo

Mauvaise spécification → estimation potentiellement trompeuse

📖 4. Estimation et résidus

🔑 Notions clés & Définitions

• Estimateur : Expression, algorithme ou règle issue d’une méthode d’estimation qui produit une valeur numérique de paramètre à partir des données.

★ À maîtriser

• Les méthodes d’estimation courantes sont :
  • les moindres carrés
  • le maximum de vraisemblance
  • la méthode des moments

📌 Une estimation est la valeur numérique renvoyée par un estimateur pour un échantillon donné, tandis que l’estimateur est la règle qui produit cette valeur.

📌 Le résidu est $\hat{u}_i=y_i-\hat{y}_i$, tandis que l’erreur est $u_i=y_i-f(x_i,\beta)$ et représente la partie non expliquée par le modèle.

Compléments

• Le modèle $y=\beta_0+\beta_1x+u$ avec $u\sim IID(0,\sigma_u^2)$ constitue un exemple de spécification linéaire avec erreurs indépendantes et identiquement distribuées.

📐 Formule - Un estimateur sans biais vérifie $E(\hat{\beta})=\beta$.

📐 Formule - Un estimateur convergent vérifie $\operatorname{plim}_{n\to\infty}\hat{\beta}=\beta$.

📐 Formule - La prédiction linéaire pour l’observation $i$ est $\hat{y}_i=\hat{\beta}_0+\hat{\beta}_1x_i$.

💡 Astuce mémo

Estimateur = règle aléatoire ; estimation = valeur calculée

📖 5. Variation et distributions d’échantillonnage

🔑 Notions clés & Définitions

• Variation d’échantillonnage : Fait que des échantillons différents issus d’une même population peuvent produire des estimations différentes.
• Distribution d’échantillonnage : Distribution de probabilité d’une statistique calculée à partir d’échantillons aléatoires.

★ À maîtriser

• Trois approches permettent d’obtenir une distribution d’échantillonnage :

  • la théorie exacte
  • la théorie asymptotique
  • le bootstrap

• Le bootstrap estime empiriquement une distribution en simulant de nombreux échantillons par tirage aléatoire d’observations dans les données disponibles.

Compléments

• La distribution d’échantillonnage d’un estimateur dépend de la taille de l’échantillon $n$.

• Dans le modèle linéaire normal classique, des erreurs distribuées selon $u\sim IIN(0,\sigma^2I)$ permettent d’obtenir théoriquement la distribution exacte des estimateurs des moindres carrés.

• Davidson et MacKinnon (2021), dans Foundations of Econometrics Part 1, sections 5.4 et 5.5, sont cités pour les distributions exactes et asymptotiques ainsi que le théorème central limite. - Davidson, R., & MacKinnon, J. G.

💡 Astuce mémo

Théorie exacte, théorie asymptotique, bootstrap

📖 6. Tests d’hypothèses

🔑 Notions clés & Définitions

• Test d’hypothèse : Méthode utilisant la distribution d’une statistique pour évaluer si les estimations observées sont plausibles sous une hypothèse donnée sur les paramètres.
• p-value : Probabilité, sous l’hypothèse nulle, d’obtenir une valeur de la statistique de test au moins aussi extrême que celle observée.

★ À maîtriser

📌 Dans un test bilatéral, l’hypothèse alternative porte sur une inégalité stricte, par exemple $H_1:\beta\ne k$ ; dans un test unilatéral, elle porte sur une inégalité orientée, par exemple $H_1:\beta>k$.

📐 Formule - Pour tester $H_0:\beta=k$ lorsque la variance de l’estimateur est connue, la statistique est $z(k)=\frac{\hat{\beta}-k}{\sqrt{\operatorname{Var}(\hat{\beta})}}$.

📌 Le niveau de signification $\alpha$ est la probabilité de rejeter l’hypothèse nulle alors qu’elle est vraie, soit l’erreur de type I ; le cours donne $\alpha=5\%$ comme exemple.

📌 Pour un test bilatéral, on ne rejette pas $H_0$ lorsque la p-value est supérieure à $\alpha$ et on la rejette lorsqu’elle est inférieure à $\alpha$.

Compléments

📐 Formule - Pour un test bilatéral fondé sur une statistique normale symétrique, la p-value est $P(|Z|\geq|z(k)|)$ ; pour un test unilatéral à droite, elle est $P(Z\geq z(k))$.

💡 Astuce mémo

Hypothèse → statistique → p-value → décision

📖 7. Puissance statistique

🔑 Notions clés & Définitions

• Puissance d’un test : Probabilité de rejeter l’hypothèse nulle lorsqu’elle est fausse, soit $1-b$, où $b$ est le risque d’erreur de type II.

★ À maîtriser

• La puissance d’un test mesure sa sensibilité, c’est-à-dire sa capacité à détecter un effet.

• La puissance peut être accrue en augmentant la taille de l’échantillon pour réduire la variance de l’estimateur, ou en diminuant le niveau de signification, au prix d’un risque accru d’erreur de type I.

Compléments

📌 La planification de puissance peut partir d’une taille minimale d’effet à détecter et d’une puissance cible d’au moins $80\%$ afin de relier la puissance à la taille d’échantillon nécessaire.

💡 Astuce mémo

Variance plus faible → distributions mieux séparées → puissance accrue

📖 8. Intervalles de confiance

🔑 Notions clés & Définitions

• Intervalle de confiance : Intervalle calculé à partir d’un échantillon aléatoire qui contient la vraie valeur du paramètre dans une proportion $1-\alpha$ des échantillons répétés.

★ À maîtriser

📌 Un intervalle de confiance de niveau $1-\alpha$ correspond à l’ensemble des hypothèses $H_0:\beta=k$ qui ne seraient pas rejetées au niveau $\alpha$ par le test associé.

Compléments

• Un intervalle de confiance est aléatoire parce que ses bornes dépendent de l’échantillon tiré.

📐 Formule - Pour un intervalle unilatéral à droite fondé sur une statistique normale et une variance connue, le cours donne $[\hat{\beta}-c_{1-\alpha}\sqrt{\operatorname{Var}(\hat{\beta})},+\infty[$.

💡 Astuce mémo

Un intervalle décrit des valeurs compatibles, pas la probabilité que β y soit