Introduction aux modèles de langage et stratégies de décodage

1. 📌 L'essentiel

• Un modèle de langage estime la probabilité d'une séquence de tokens : $P(w_1, ..., w_T) = \prod_{t=1}^T P(w_t | w_1, ..., w_{t-1})$.
• La tokenisation sous-mots (BPE, WordPiece, SentencePiece) réduit le vocabulaire et gère les rares.
• Stratégies de décodage principales : Greedy, Beam Search, Sampling.
• Greedy : choix du token le plus probable à chaque étape, rapide mais peu créatif.
• Beam Search : exploration de plusieurs séquences, plus cohérent mais plus lent.
• Sampling : choix probabiliste contrôlé par température, top-k, top-p pour plus de diversité.
• La température modifie la distribution : T<1 pour plus conservateur, T>1 pour plus créatif.
• Top-k limite la sélection aux k tokens les plus probables, renormalisés.
• Top-p (Nucleus) sélectionne un ensemble dynamique de tokens jusqu’à la somme des probabilités p.
• Contrôler la répétition via Repetition Penalty ou No-Repeat N-gram.
• La graine (seed) permet la reproductibilité des résultats.