Fiche de révision : Apprentissage statistique avec R

Plan du Cours

  1. Syntaxe et manipulation des données R
  2. Choix et interprétation des tests
  3. Régression linéaire et diagnostics
  4. Comparaison et sélection des modèles
  5. Régularisation LASSO et Ridge
  6. Classification par modèle linéaire
  7. Partitionnement et validation
  8. Régression logistique et classification
  9. Lecture des sorties statistiques R
  10. Limites et interprétation des résultats

1. Syntaxe et manipulation des données R

★ À maîtriser

📌 Une valeur p < 0,05 conduit au rejet de H0, tandis qu’une valeur p ≥ 0,05 conduit à ne pas la rejeter sans prouver qu’elle est vraie.

Compléments

  • Dans R, <- affecte une valeur, $ accède à une colonne, # introduit un commentaire et ==, != et >= sont des opérateurs de comparaison.

  • Dans d[4, ], la case vide sélectionne toutes les colonnes et l’expression sélectionne la quatrième ligne.

  • read.table("f.txt", header=TRUE, row.names=1) utilise la première ligne comme noms de colonnes et la première colonne comme identifiants de ligne, non comme variable.

  • Pour obtenir un échantillon reproductible, set.seed(n) fixe le générateur, puis sample(seq_len(n), size=floor(.2*n), replace=FALSE) tire 20 % des indices sans remise.

2. Choix et interprétation des tests

★ À maîtriser

  • Pour comparer deux groupes quantitatifs, t.test(a,b) effectue le test de Welch et wilcox.test(a,b) le test non paramétrique de Wilcoxon.

📌 Le test de Welch porte sur l’égalité des moyennes, tandis que le test de Wilcoxon porte sur l’égalité des distributions à partir des rangs, et non sur l’égalité des moyennes.

  • Pour étudier l’indépendance de deux variables qualitatives, chisq.test(tab) applique le test du chi carré et fisher.test(tab) le test exact de Fisher, adapté aux petits effectifs.

  • La p-valeur est la probabilité, si H0 est vraie, d’observer des données au moins aussi extrêmes que celles obtenues.

Compléments

  • Pour deux variables quantitatives, cor.test utilise Pearson par défaut et peut utiliser Spearman avec method="spearman".

  • Dans un test du chi carré d’indépendance, H0 affirme que la répartition d’une variable ne dépend pas du groupe, et les effectifs attendus devraient tous être ≥ 5.

Astuce mémo

Welch compare des moyennes, Wilcoxon des distributions

3. Régression linéaire et diagnostics

Notions clés & Définitions

  • Moindres carrés : Les moindres carrés choisissent les coefficients qui minimisent la somme des carrés des écarts entre les observations et les valeurs prédites.
  • Résidu : Le résidu est la différence entre la valeur observée et la valeur prédite; un résidu négatif signifie que le modèle a prédit trop haut.

★ À maîtriser

📐 Formule - Dans le modèle linéaire simple, y=β0+β1x+εy = \beta_0 + \beta_1x + \varepsilon.

  • Dans un modèle linéaire, β₀ est la valeur prédite lorsque x=0 et β₁ est la variation de la prédiction lorsque x augmente d’une unité.

Compléments

  • Dans lm, y ~ 1 prédit la moyenne de y, tandis que y ~ x.1 + x.3 estime un coefficient par facteur sans interaction.

  • Pour un facteur qualitatif, un coefficient tel que x.3TRUE mesure l’écart par rapport au niveau de référence, les autres variables étant fixées.

4. Comparaison et sélection des modèles

Notions clés & Définitions

  • Modèles imbriqués : Deux modèles sont imbriqués lorsque le plus petit peut être obtenu à partir du plus grand en fixant certains coefficients à zéro.
  • RMSE : La RMSE est la racine carrée de la moyenne des erreurs de prédiction au carré et s’exprime dans l’unité de la réponse.

★ À maîtriser

  • anova(petit, grand) teste, sous H0, si les coefficients ajoutés dans le modèle plus grand sont nuls.

  • À données identiques, ajouter un facteur ne peut pas augmenter la SCE d’apprentissage, mais cela ne garantit pas de meilleures prédictions.

Compléments

📐 Formule - Pour comparer deux modèles linéaires emboîtés, F=(SCE0−SCE1)/(p1−p0)SCE1/(n−p1)F = \frac{(SCE_0-SCE_1)/(p_1-p_0)}{SCE_1/(n-p_1)}, où p désigne le nombre de coefficients.

  • AIC, BIC et AICc pénalisent la complexité en plus de mesurer l’ajustement, et le modèle préféré est celui dont le critère est le plus petit.

📌 La comparaison par AIC, BIC ou AICc ne requiert pas l’imbrication des modèles, mais exige la même réponse et les mêmes observations.

5. Régularisation LASSO et Ridge

★ À maîtriser

📌 Le LASSO ajoute une pénalité en valeur absolue des coefficients et peut les annuler exactement, tandis que Ridge pénalise leurs carrés et les réduit sans les annuler exactement.

  • Le critère pénalisé du LASSO est SCE+λ∑j∣βj∣SCE + \lambda\sum_j|\beta_j| et celui de Ridge est SCE+λ∑jβj2SCE + \lambda\sum_j\beta_j^2.

📌 lambda.min correspond à l’erreur minimale de validation croisée, tandis que lambda.1se est le plus grand λ situé à une erreur-type du minimum et sélectionne généralement moins de variables.

Compléments

  • Dans glmnet, alpha=1 correspond au LASSO et alpha=0 à Ridge; l’intercept n’est pas pénalisé.

  • Lorsque λ augmente, la régularisation s’accentue et le LASSO tend à produire davantage de coefficients nuls.

📌 glmnet exige une matrice de prédicteurs et inclure la variable réponse dans cette matrice constitue une fuite de cible.

Astuce mémo

LASSO annule, Ridge réduit

6. Classification par modèle linéaire

★ À maîtriser

  • Pour classifier avec lm, on ajuste le modèle sur une réponse codée en 0/1, on prédit un score, puis on attribue une classe selon le seuil choisi.

  • Le score prédit par lm peut sortir de l’intervalle [0,1] et ne doit donc pas être interprété comme une probabilité.

Compléments

  • Avec un seuil de 0,5, un score ≥ 0,5 est classé dans la classe codée 1 et un score inférieur dans la classe codée 0.

  • Dans une matrice de confusion, les lignes correspondent aux classes observées, les colonnes aux classes prédites et la diagonale aux classifications correctes.

  • La frontière de décision d’un modèle linéaire à deux prédicteurs est définie par β₀+β₁x₁+β₂x₂=0,5.

7. Partitionnement et validation

★ À maîtriser

📌 L’ensemble d’apprentissage sert à ajuster le modèle, la validation ou la validation croisée à choisir le modèle, λ ou le seuil, et le test à l’évaluation finale.

📌 Le jeu de test doit être utilisé une seule fois et aucune modification du modèle ou du seuil ne doit être faite après consultation de ses résultats.

Compléments

  • Évaluer sur des individus déjà utilisés pour l’apprentissage fausse l’évaluation de la généralisation.

  • En validation croisée à k plis, le modèle est ajusté sur k−1 plis et prédit le pli restant, à tour de rôle.

📌 Standardiser les prédicteurs à partir de l’ensemble complet avant la partition constitue une fuite d’information, tandis que calculer les carrés des variables avant la partition est indiqué comme acceptable.

Astuce mémo

Train ajuste, validation choisit, test évalue une seule fois

8. Régression logistique et classification

Notions clés & Définitions

  • AUC : L’AUC est la probabilité qu’un individu malin ait un score supérieur à celui d’un individu bénin; 0,5 correspond au hasard et 1 à une séparation parfaite.

★ À maîtriser

📐 Formule - En régression logistique, η=β0+β1x1+β2x2=log⁡(p1−p)\eta=\beta_0+\beta_1x_1+\beta_2x_2=\log\left(\frac{p}{1-p}\right) et p=11+e−ηp=\frac{1}{1+e^{-\eta}}.

  • La régression logistique estime ses coefficients par maximum de vraisemblance et produit une probabilité comprise entre 0 et 1 sans exiger la normalité des résidus.

  • La sensibilité vaut VP/(VP+FN), la spécificité VN/(VN+FP), la précision VP/(VP+FP) et l’exactitude (VP+VN)/N.

  • Diminuer le seuil augmente la sensibilité et diminue la spécificité, tandis qu’augmenter le seuil réduit les faux positifs et augmente les faux négatifs sans modifier le modèle.

Compléments

  • Dans glm, predict(..., type="link") renvoie η et predict(..., type="response") renvoie la probabilité p.

  • Un coefficient logistique positif signifie que, toutes les autres variables étant fixées, une hausse du prédicteur augmente la probabilité de la classe codée 1.

  • Une courbe ROC représente la sensibilité en fonction de 1−spécificité pour différents seuils, et son coin supérieur gauche correspond à la classification idéale.

Astuce mémo

Seuil ↓ → sensibilité ↑ et spécificité ↓

9. Lecture des sorties statistiques R

★ À maîtriser

  • Dans summary(lm), Estimate donne le coefficient, Std. Error son incertitude, t value le rapport Estimate/Std. Error et Pr(>|t|) teste la nullité du coefficient en tenant compte des autres facteurs.

Compléments

  • Le R² de summary(lm) représente la part de variance expliquée et le R² ajusté tient compte du nombre de facteurs.

  • Dans la sortie de t.test, l’intervalle de confiance à 95 % de la différence de moyennes excluant 0 correspond à p < 0,05 pour le test associé.

  • Dans summary(glm), les coefficients sont exprimés sur l’échelle du log de la cote, et les tests associés utilisent les statistiques z et leurs p-valeurs.

10. Limites et interprétation des résultats

★ À maîtriser

  • Une p-valeur ≥ 0,05 peut résulter d’un manque de puissance dû à un petit échantillon ou à un effet faible et ne prouve pas l’absence d’effet.

📌 Une association statistique ne démontre pas une causalité, car une confusion ou une causalité inverse peut expliquer l’association observée.

  • L’erreur d’apprentissage est optimiste et un modèle plus complexe peut s’ajuster au bruit; sa qualité prédictive doit être évaluée sur des données jamais vues.

Compléments

  • Avec un grand échantillon, un résultat statistiquement significatif peut correspondre à un effet de faible importance, qu’il faut évaluer par son ampleur.

  • Un coefficient partiel dépend des autres facteurs inclus dans le modèle, particulièrement lorsque les prédicteurs sont corrélés.

  • Une étude rétrospective ne permet pas à elle seule d’établir la prévalence, la causalité ou la capacité de prédiction prospective.

Teste tes connaissances

Teste tes connaissances sur Apprentissage statistique avec R avec 28 questions à choix multiples et corrections détaillées.

1. Lors d’un test, une analyste obtient une valeur p=0,08p = 0{,}08 au seuil de 5 %. Quelle conclusion doit-elle tirer concernant H0H_0 ?

2. Un fichier tabulé contient une première ligne d’en-têtes et une première colonne d’identifiants. Quel sera le rôle de ces colonnes avec `read.table("f.txt", header=TRUE, row.names=1)` ?

Faire le QCM →

Révisez avec les flashcards

Mémorisez les concepts clés de Apprentissage statistique avec R avec 80 flashcards interactives.

Que conclure si une valeur p est inférieure à 0,05 ?

Rejeter H0.

Que signifie une valeur p supérieure ou égale à 0,05 pour H0 ?

On ne rejette pas H0, sans prouver qu’elle est vraie.

Quelle fonction R réalise le test de Welch pour comparer deux groupes quantitatifs ?

`t.test(a,b)`.

Voir les flashcards →

Cours similaires

Crée tes propres fiches de révision

Importe ton cours et l'IA génère fiches, QCM et flashcards en 30 secondes.

Générateur de fiches