Fiche de révision : Régression linéaire et critères d’erreur

📋 Plan du Cours

1. Modèle et fonction cible
2. Régression linéaire et paramètres
3. Erreurs et erreur absolue moyenne
4. Critères de perte et comparaison
5. Ajuster les paramètres du modèle
6. Choisir et évaluer un modèle
7. Généraliser la régression linéaire

📖 1. Modèle et fonction cible

🔑 Notions clés & Définitions

• Fonction cible : La règle, généralement inconnue, qui associe une entrée de l’espace 𝒳 à une sortie de l’espace 𝒴.
• Modèle : Une fonction calculable réglée par les paramètres θ, qui vise à approcher la fonction cible f.

★ À maîtriser

• Apprendre consiste à ajuster θ à partir des couples (xᵢ, yᵢ), tandis que prédire consiste à fixer θ, fournir une entrée et calculer ŷ.

Compléments

• Pour l’exemple i, (xᵢ, yᵢ) est le couple associant l’entrée xᵢ, information disponible pour prédire, à la réponse attendue yᵢ, et i numérote les exemples.

• Dans le cas idéal sans bruit, la réponse attendue vérifie yᵢ = f(xᵢ).

💡 Astuce mémo

La fonction cible f est la règle recherchée ; le modèle fθ est la fonction calculable qui l’approche.

📖 2. Régression linéaire et paramètres

★ À maîtriser

📐 Formule - La régression linéaire simple prédit la sortie par $\hat{y}=ax+b$, où x est l’entrée, a le coefficient en secondes par page et b la durée fixe en secondes.

• L’apprentissage choisit a et b à partir de couples pages-durée connus, puis la prédiction fixe ces paramètres et calcule ŷ à partir de x, sans nécessiter la durée réelle du nouveau document.

Compléments

• Dans le modèle affine de durée, a représente le temps prédit par page et b le temps fixe.

• Les paramètres θ = (a, b) sont communs à tous les documents, alors que x décrit l’entrée du document considéré.

• Dans l’interprétation du modèle, ajouter 0,5 seconde à b ajoute 0,5 seconde à toutes les prédictions.

• Ajouter 0,5 s/page à a ajoute 0,5 × x secondes à la prédiction pour une entrée x.

💡 Astuce mémo

Changer x change le document ; changer a ou b change la règle de prédiction.

📖 3. Erreurs et erreur absolue moyenne

🔑 Notions clés & Définitions

• Erreur signée : La prédiction moins la valeur observée, soit e = ŷ − y ; une erreur positive correspond à une surestimation.
• Erreur absolue : La valeur d’une erreur conservant sa taille sans son signe, ce qui empêche les erreurs positives et négatives de se compenser dans leur somme.

★ À maîtriser

📐 Formule - La MAE, erreur absolue moyenne, vaut $\mathrm{MAE}=\frac{1}{n}\sum_{i=1}^{n}|e_i|$ et s’exprime dans la même unité que les erreurs.

Compléments

• La moyenne des erreurs signées renseigne sur la tendance à surestimer ou sous-estimer, mais ne mesure pas l’ampleur des erreurs.

• Dans l’exemple de quatre erreurs absolues de 0,5 s, la MAE vaut 0,5 s.

📖 4. Critères de perte et comparaison

🔑 Notions clés & Définitions

• Métrique : Un critère utilisé pour évaluer les prédictions.
• Loss d’apprentissage : Le critère que l’on cherche à minimiser en ajustant les paramètres.

★ À maîtriser

📐 Formule - La MSE, erreur quadratique moyenne, vaut $\mathrm{MSE}=\frac{1}{n}\sum_{i=1}^{n}e_i^2$ et s’exprime dans l’unité des erreurs au carré.

Compléments

• Doubler une erreur multiplie sa pénalité quadratique par quatre.

📌 La MAE classe le profil Ponctuel avant le profil Régulier (1 contre 1,5 s), tandis que la MSE classe Régulier avant Ponctuel (2,25 contre 4 s).

📌 Une comparaison de scores doit opposer des valeurs du même critère, car une MAE et une MSE ne sont pas directement comparables.

📐 Formule - Dans l’exemple de pénalité asymétrique, $\ell(e)=\begin{cases}2|e|&e<0\\|e|&e\geq0\end{cases}$, de sorte qu’une seconde sous-estimée coûte deux fois plus qu’une seconde surestimée.

• Pour les droites A, B et C de l’exemple, les MSE valent respectivement 0,5, 1,5 et 0,125 s² ; la droite C obtient le score le plus faible sur les données d’apprentissage.

📖 5. Ajuster les paramètres du modèle

★ À maîtriser

📌 La prédiction associe une entrée aux paramètres fixés, tandis que le coût associe les paramètres aux données fixées.

• Pour les quatre observations fixées, le coût est la moyenne des carrés des erreurs et varie lorsque a ou b change.

📐 Formule - Lorsque a = 1,5 est fixé, le coût en fonction de b est $L(1{,}5,b)=b^2-0{,}5b+0{,}125$.

Compléments

• Pour a = 1,5, le minimum de la coupe du coût est atteint en b = 0,25 s et vaut 0,0625 s².

📌 La recherche illustrée dans une coupe du coût n’est pas une descente de gradient.

📖 6. Choisir et évaluer un modèle

🔑 Notions clés & Définitions

• Généralisation : Consiste à bien prédire au-delà des exemples utilisés pour ajuster le modèle ; le score d’apprentissage ne suffit pas à l’établir.

★ À maîtriser

📌 L’apprentissage sert à régler les candidats, la validation à les comparer et choisir, et le test final à évaluer le modèle retenu sur des exemples tenus à l’écart.

• Dans l’exemple de validation, les MSE sont de 0 pour A, 20,5 s² pour B et 3,125 s² pour C ; le choix selon ce critère est donc A.

📌 Dans l’exemple, C a la plus faible MSE d’apprentissage (0,125 s²), mais A a la plus faible MSE de validation (0 s²), ce qui conduit à retenir A.

📌 Après le choix sur la validation, le modèle et le critère sont figés ; le test final estime la performance sur de nouvelles données sans servir à choisir ou réajuster le modèle.

Compléments

• La répartition 70 % pour l’apprentissage, 15 % pour la validation et 15 % pour le test final est un exemple, pas une règle universelle.

📌 Pour des cas indépendants, on peut tirer les données aléatoirement en conservant leur diversité ; pour prédire de nouvelles personnes, on sépare par personne plutôt que par ligne ; pour prédire le futur, on apprend sur le passé et on évalue sur la suite.

• Pour le modèle A testé sur deux exemples, les erreurs sont −0,5 s et −0,5 s et la MSE de test est de 0,25 s² ; deux exemples donnent une estimation très limitée.

📌 Le nombre d’exemples n, le nombre de variables d’entrée d et le nombre de paramètres p sont différents ; augmenter n ne crée pas automatiquement plus de paramètres.

💡 Astuce mémo

Apprentissage → validation → test final.

📖 7. Généraliser la régression linéaire

★ À maîtriser

📐 Formule - Avec une variable d’entrée, la régression linéaire s’écrit $\hat{y}=ax_1+b$ et ses paramètres sont $\theta=(a,b)$.

📐 Formule - Avec deux variables d’entrée, la régression linéaire s’écrit $\hat{y}=w_1x_1+w_2x_2+b$ et ses paramètres sont $\theta=(w_1,w_2,b)$.

📐 Formule - Pour n documents et d variables d’entrée, les prédictions s’écrivent $\hat{y}_i=\sum_{j=1}^{d}x_{ij}w_j+b$ et le produit matriciel correspondant est $X\theta=\hat{y}$, avec X de taille n × (d + 1) et θ de taille (d + 1) × 1.

📌 Si Xθ = y admet une solution exacte, l’ajustement peut résoudre ce système ; avec du bruit, il peut ne pas exister de solution exacte et on minimise alors la MSE entre Xθ et les observations y.

Compléments

• Dans le modèle à deux entrées, x₁ et x₂ décrivent le même document, et la droite correspond à la coupe x₂ = 0.

• Dans la matrice X, chaque ligne représente un document, chaque colonne d’entrée une variable, et une dernière colonne de 1 permet d’ajouter le biais b à chaque prédiction.

• Pour obtenir la prédiction d’une ligne, on multiplie chaque valeur par le paramètre correspondant puis on additionne les produits ; le produit Xθ donne toutes les prédictions.

💡 Astuce mémo

Une droite devient un plan quand on ajoute une variable d’entrée.

📊 Tableaux de synthèse

Rôles des paramètres affines