Fiche de révision : Méthodes bayésiennes de classification

Plan du Cours

  1. Classification par probabilités
  2. Décision bayésienne et risque
  3. Fonctions discriminantes
  4. Modèle gaussien unidimensionnel
  5. Frontières gaussiennes multidimensionnelles
  6. Probabilité d’erreur de classification

1. Classification par probabilités

★ À maîtriser

📐 Formule - La probabilité jointe d’observer la classe wiw_i et la caractéristique xx vérifie p(x,wi)=p(x∣wi)P(wi).p(x,w_i)=p(x|w_i)P(w_i).

📐 Formule - La probabilité a posteriori s’écrit P(wi∣x)=p(x∣wi)P(wi)p(x).P(w_i|x)=\frac{p(x|w_i)P(w_i)}{p(x)}.

Compléments

  • Sans mesure ni extraction de caractéristiques, la classification entre saumons w1w_1 et bars w2w_2 choisit la classe de probabilité a priori la plus élevée.

📌 Avec une mesure scalaire xx, le classificateur fondé sur la vraisemblance choisit w1w_1 si p(x∣w1)>p(x∣w2)p(x|w_1)>p(x|w_2), et w2w_2 sinon.

📐 Formule - Pour deux classes, la probabilité marginale de la mesure est p(x)=p(x∣w1)P(w1)+p(x∣w2)P(w2).p(x)=p(x|w_1)P(w_1)+p(x|w_2)P(w_2).

Astuce mémo

A priori sans mesure, vraisemblance avec mesure

2. Décision bayésienne et risque

Notions clés & Définitions

  • Risque conditionnel : Le risque conditionnel de décider wiw_i sachant la mesure xx est la somme des coûts λij\lambda_{ij} pondérés par les probabilités a posteriori des classes réelles wjw_j.

★ À maîtriser

📌 La classification bayésienne à erreur minimale choisit la classe dont la probabilité a posteriori est la plus élevée.

📐 Formule - Pour deux classes, les risques conditionnels sont R(w1∣x)=λ11P(w1∣x)+λ12P(w2∣x),R(w2∣x)=λ21P(w1∣x)+λ22P(w2∣x).R(w_1|x)=\lambda_{11}P(w_1|x)+\lambda_{12}P(w_2|x),\quad R(w_2|x)=\lambda_{21}P(w_1|x)+\lambda_{22}P(w_2|x).

Compléments

📌 La décision à risque minimal choisit w1w_1 si R(w1∣x)<R(w2∣x)R(w_1|x)<R(w_2|x), et w2w_2 sinon.

3. Fonctions discriminantes

Notions clés & Définitions

  • Fonction discriminante : Une fonction discriminante gi(x)g_i(x) attribuée à chaque classe permet de choisir la classe dont la fonction prend la plus grande valeur.

Points essentiels

  • Les fonctions discriminantes possibles comprennent la probabilité a priori P(wi)P(w_i), la vraisemblance p(x∣wi)p(x|w_i), la probabilité a posteriori P(wi∣x)P(w_i|x), le produit p(x∣wi)P(wi)p(x|w_i)P(w_i), l’opposé du risque conditionnel −R(wi∣x)-R(w_i|x) et la somme ln⁡p(x∣wi)+ln⁡P(wi)\ln p(x|w_i)+\ln P(w_i).

📌 Pour deux classes, la fonction discriminante différence g(x)=g1(x)−g2(x)g(x)=g_1(x)-g_2(x) conduit à choisir w1w_1 si g(x)>0g(x)>0, et w2w_2 sinon.

  • La frontière de décision entre deux classes est l’ensemble des points où leurs fonctions discriminantes sont égales, soit g(x)=0g(x)=0 dans la formulation par différence.

4. Modèle gaussien unidimensionnel

★ À maîtriser

📐 Formule - La densité normale unidimensionnelle de moyenne μ\mu et d’écart-type σ\sigma est p(x)=12πσexp⁡(−12(x−μσ)2).p(x)=\frac{1}{\sqrt{2\pi}\sigma}\exp\left(-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2\right).

  • Pour deux classes gaussiennes en une dimension, l’égalité des fonctions discriminantes produit une équation quadratique en xx, qui peut donner deux frontières de décision.

Compléments

  • La loi normale est proposée pour modéliser une vraisemblance, notamment parce que la somme d’un grand nombre de variables indépendantes tend vers une distribution gaussienne.

  • En une dimension, une gaussienne est caractérisée par deux paramètres, sa moyenne et sa variance.

  • Lorsque les variances des deux classes sont égales et leurs probabilités a priori égales, la frontière de décision unique est située au milieu des deux moyennes.

5. Frontières gaussiennes multidimensionnelles

Notions clés & Définitions

  • Matrice de covariance : La matrice de covariance d’une classe représente les variances et covariances de ses caractéristiques; elle est symétrique et ses variances se trouvent sur la diagonale.
  • Vecteur moyen : Le vecteur moyen d’une classe rassemble les moyennes de ses caractéristiques.

★ À maîtriser

📐 Formule - La densité gaussienne multidimensionnelle de la classe wiw_i, de moyenne μi\mu_i et de covariance Σi\Sigma_i, est p(x∣wi)=1(2π)p/2∣Σi∣1/2exp⁡(−12(x−μi)TΣi−1(x−μi)).p(x|w_i)=\frac{1}{(2\pi)^{p/2}|\Sigma_i|^{1/2}}\exp\left(-\frac{1}{2}(x-\mu_i)^T\Sigma_i^{-1}(x-\mu_i)\right).

Compléments

  • Les surfaces de décision quadratiques peuvent être :
    • des hyperplans
    • des paires d’hyperplans
    • des hypersphères
    • des hyperellipsoïdes
    • des hyperparaboloïdes
    • des hyperhyperboloïdes

6. Probabilité d’erreur de classification

Points essentiels

📐 Formule - La probabilité d’erreur pour une classe wiw_i est P(erreur∣wi)=∫x∉Rip(x∣wi) dx,P(\text{erreur}|w_i)=\int_{x\notin R_i}p(x|w_i)\,dx, où RiR_i est sa région de décision.

📐 Formule - Pour deux classes, la probabilité totale d’erreur est P(erreur)=P(w1)∫R2p(x∣w1) dx+P(w2)∫R1p(x∣w2) dx.P(\text{erreur})=P(w_1)\int_{R_2}p(x|w_1)\,dx+P(w_2)\int_{R_1}p(x|w_2)\,dx.

Teste tes connaissances

Teste tes connaissances sur Méthodes bayésiennes de classification avec 10 questions à choix multiples et corrections détaillées.

1. Pour une mesure xx, un classificateur obtient R(w1∣x)=2,4R(w_1|x)=2{,}4 et R(w2∣x)=1,7R(w_2|x)=1{,}7. Quelle décision minimise le risque conditionnel ?

2. Pour une classe de poissons w1w_1 et une mesure xx, on connaît p(x∣w1)=0,3p(x|w_1)=0{,}3 et P(w1)=0,4P(w_1)=0{,}4. Quelle est la probabilité jointe p(x,w1)p(x,w_1) ?

Faire le QCM →

Révisez avec les flashcards

Mémorisez les concepts clés de Méthodes bayésiennes de classification avec 10 flashcards interactives.

Quelle classe choisit la classification bayésienne à erreur minimale ?

Celle dont la probabilité a posteriori est la plus élevée.

Comment définit-on le risque conditionnel de décider wiw_i sachant xx ?

La somme des coûts λij\lambda_{ij} pondérés par les probabilités a posteriori des classes réelles wjw_j.

Sans mesure ni extraction de caractéristiques, comment choisir entre les saumons w1w_1 et les bars w2w_2 ?

Choisir la classe ayant la probabilité a priori la plus élevée.

Voir les flashcards →

Cours similaires

Crée tes propres fiches de révision

Importe ton cours et l'IA génère fiches, QCM et flashcards en 30 secondes.

Générateur de fiches