Fiche de révision : LLM et traduction assistée

Plan du Cours

  1. Principes des modèles de langage
  2. Tokens et représentations numériques
  3. Évolution des modèles de langage
  4. Entraînement et limites des LLM
  5. Hallucinations et vérification des réponses
  6. Usages et risques en traduction
  7. Outils et rôle du traducteur
  8. Modèles économiques des IA génératives
  9. Traduction intégrée, valeur ajoutée et confidentialité
  10. Coût environnemental des LLM et diversité linguistique
  11. Biais et représentation dans les réponses
  12. Modération, alignement, censure et principes éthiques

1. Principes des modèles de langage

Notions clés & Définitions

  • LLM : Modèle d’intelligence artificielle entraîné sur d’immenses quantités de textes pour apprendre les régularités du langage.
  • Fenêtre de contexte : Limite, mesurée en tokens, de la quantité de texte qu’un LLM peut traiter simultanément.

★ À maîtriser

  • L’objectif d’un LLM est de prédire le mot, ou token, suivant dans une séquence de texte.

Compléments

  • La fenêtre de contexte comprend le prompt, le texte à traduire ou analyser et la réponse générée par le modèle.

  • Même avec une grande fenêtre de contexte, l’attention d’un modèle peut s’affaiblir au milieu d’un texte très long, phénomène parfois appelé « lost in the middle ».

2. Tokens et représentations numériques

Notions clés & Définitions

  • Token : Unité en laquelle un LLM découpe le texte, par exemple un mot, une partie de mot, un signe de ponctuation, un chiffre ou une espace.
  • Embedding : Série de valeurs numériques qui représente un token.

Points essentiels

  • Le découpage en tokens permet de traiter efficacement les mots rares, les néologismes et les termes techniques.

  • Les embeddings permettent au modèle de capturer les relations sémantiques entre les mots sans qu’une règle linguistique ait été explicitement programmée.

  • Dans l’espace des embeddings, les mots « chat » et « chien », « roi » et « reine », ainsi que « Paris » et « Londres » sont présentés comme proches, tandis que « chat » et « casserole » sont éloignés.

3. Évolution des modèles de langage

Notions clés & Définitions

  • N-gramme : Suite de n mots consécutifs.
  • Mécanisme d’attention : Mécanisme qui attribue un poids plus ou moins important aux différents mots d’une phrase afin de déterminer quelles informations sont les plus pertinentes pour produire le token suivant.

★ À maîtriser

  • Les Transformers constituent la base de la quasi-totalité des grands modèles de langage.

  • Les Transformers analysent simultanément tous les mots d’une phrase, ce qui améliore la prise en compte du contexte, la cohérence des réponses, la gestion des longues phrases, la traduction automatique et la génération de texte.

Compléments

  • « Traduction » est un unigramme, « traduction automatique » un bigramme et « traduction automatique neuronale » un trigramme.

  • Avant l’arrivée des réseaux de neurones, les modèles de langue estimaient la probabilité d’apparition d’un mot à partir des mots précédents, mais leur contexte était très limité.

Astuce mémo

Les n-grammes regardent en arrière ; l’attention pondère les mots pertinents.

4. Entraînement et limites des LLM

Notions clés & Définitions

  • Alignement : Phase destinée à limiter certains comportements du modèle grâce à des garde-fous.

★ À maîtriser

  • Les LLM apprennent à partir de gigantesques corpus d’entraînement et voient, pendant l’entraînement, des milliards de phrases incomplètes.

  • Pendant l’entraînement, le modèle doit deviner le token manquant dans des phrases incomplètes.

  • Les modèles héritent des biais culturels, politiques, sociaux et linguistiques présents dans les données humaines d’entraînement.

  • Aucun corpus ne contient l’ensemble des connaissances humaines, et les volumes de données disponibles varient selon les langues.

Compléments

  • Pour « Le chat dort sur le… », un modèle peut proposer « canapé », « lit », « tapis » ou « arbre ».

Astuce mémo

Données biaisées ou incomplètes → réponses potentiellement biaisées ou lacunaires.

5. Hallucinations et vérification des réponses

Notions clés & Définitions

  • Hallucination : Production par un LLM d’informations fausses qui conservent une apparence de crédibilité.
  • RAG : Architecture d'intelligence artificielle qui consiste à rechercher d’abord les informations pertinentes dans des bases de données de confiance.

★ À maîtriser

📌 Contrairement à un moteur de recherche, un LLM ne vérifie pas nécessairement ses réponses dans une base de connaissances : il prédit la suite de tokens la plus probable.

  • Les causes possibles d’une hallucination sont : le manque d’informations dans le contexte fourni, l’ambiguïté de la requête, la volonté du modèle de produire une réponse complète, l’absence de mécanisme interne de vérification des faits

Compléments

  • Un LLM n’a pas nécessairement accès aux événements récents et peut donc ne pas connaître ceux qui se sont produits la veille.

Astuce mémo

Contexte manquant ou ambigu → réponse plausible mais potentiellement fausse.

6. Usages et risques en traduction

★ À maîtriser

  • Les LLM peuvent :

    • simplifier un texte complexe
    • adapter son registre de langue
    • améliorer sa fluidité
    • raccourcir un texte
    • développer un texte
    • harmoniser le style d’un document
  • La reformulation par un LLM est particulièrement utile pour la post-édition et la révision stylistique, mais elle risque de modifier involontairement le sens.

📌 La NMT tend à reproduire la structure du texte source, tandis que le LLM tend à normaliser ou à embellir les textes.

  • Les risques liés aux LLM en traduction comprennent :
    • la perte de fidélité
    • la variabilité
    • la surconfiance
    • les problèmes de confidentialité
    • la dépendance

Compléments

  • Les textes où le style est essentiel comprennent :

    • la littérature
    • les discours politiques
    • les textes juridiques
    • les textes historiques
    • les essais
  • La reformulation d’un e-mail peut être effectuée avec une confiance relativement élevée, tandis qu’un contrat juridique exige une vérification indispensable.

  • Une formulation plus naturelle et la proposition de synonymes sont des usages utiles, mais les dates historiques doivent être vérifiées.

📌 Un dosage médical ne doit pas être délégué à un LLM sans contrôle expert, et une traduction destinée à être publiée ne doit pas l’être sans relecture.

Astuce mémo

La NMT conserve davantage la structure source ; le LLM tend à normaliser ou embellir.

7. Outils et rôle du traducteur

Notions clés & Définitions

  • Adaptive MT : Système de traduction automatique qui apprend progressivement à partir des modifications réalisées pendant un projet.
  • Quality Estimation : Technologie qui estime automatiquement la qualité d’une traduction sans disposer d’une traduction humaine de référence.

★ À maîtriser

  • Le traducteur peut être :
    • réviseur
    • contrôleur qualité
    • terminologue
    • spécialiste du prompting
    • garant de la cohérence du texte final
    • garant de la conformité du texte final

Compléments

  • L’Adaptive MT peut :

    • améliorer la cohérence
    • accroître la productivité
    • adapter les traductions au client
  • L’Adaptive MT nécessite suffisamment de données et risque de reproduire des erreurs lorsque les corrections utilisées pour l’apprentissage sont elles-mêmes incorrectes.

  • La QE analyse la similarité entre le texte source et la traduction, la fluidité, la cohérence, la terminologie et la probabilité d’erreurs, puis attribue un score de qualité.

  • Selon le score, un segment peut être :

    • validé
    • post-édité légèrement
    • post-édité complètement
    • retraduit
  • Le travail avec les outils d’IA générative demande des compétences linguistiques, la maîtrise des outils numériques et la capacité d’évaluer de manière critique les propositions de l’IA.

8. Modèles économiques des IA génératives

★ À maîtriser

  • Les API constituent le modèle économique le plus rentable et permettent d’intégrer un LLM dans des applications, avec une facturation selon le nombre de requêtes ou de tokens utilisés.

📌 Un modèle open source rend son code accessible, tandis qu’un modèle open-weight ne publie que ses paramètres, sans l’ensemble du processus d’entraînement.

Compléments

  • Les abonnements constituent le modèle économique le plus visible des IA génératives.

  • Les modèles open source ou open-weight peuvent être téléchargés et exécutés localement.

Astuce mémo

API à l’usage, abonnements à l’accès, modèles ouverts au téléchargement

9. Traduction intégrée, valeur ajoutée et confidentialité

★ À maîtriser

📌 La traduction automatique, auparavant proposée comme produit autonome, devient une fonctionnalité intégrée à d’autres logiciels sous le modèle Translation as a Feature (TaaF).

  • Les traducteurs apportent une valeur ajoutée par :

    • la qualité
    • la spécialisation
    • la post-édition
    • le conseil linguistique
    • l’adaptation culturelle
  • Les textes particulièrement sensibles peuvent contenir :

    • des informations personnelles
    • des données médicales
    • des documents juridiques
    • des contrats
    • des secrets industriels
  • Le traducteur doit : lire les politiques de confidentialité des outils utilisés, respecter les exigences contractuelles du client, privilégier un environnement sécurisé lorsque les données sont sensibles

Compléments

  • Les plateformes d’IA ne proposent pas toutes les mêmes garanties de confidentialité.

Astuce mémo

De produit autonome, la traduction devient une fonction intégrée

10. Coût environnemental des LLM et diversité linguistique

★ À maîtriser

  • L’entraînement et l’utilisation des LLM mobilisent des ressources informatiques importantes, notamment des centres de données, des processeurs spécialisés (GPU), une alimentation électrique continue et des systèmes de refroidissement consommant de l’eau et de l’énergie.

  • Le coût environnemental dépend de :

    • la taille du modèle
    • le nombre d’utilisateurs
    • le type de requête
    • l’efficacité des centres de données
    • le mix énergétique utilisé

📌 Les langues disposant de nombreuses ressources numériques, comme l’anglais, le chinois, l’espagnol, le français et l’allemand, bénéficient généralement de meilleures performances que les langues peu dotées.

  • Pour les langues peu dotées (low-resource languages), les traductions sont moins fiables, la compréhension plus limitée et la qualité de génération inférieure.

  • La production de textes grammaticalement corrects, fluides et cohérents pourrait favoriser à long terme une standardisation des pratiques d’écriture.

Compléments

  • Les LLM peuvent contribuer à rendre certains services accessibles dans des langues auparavant peu prises en charge.

  • Le traducteur doit préserver :

    • la voix de l’auteur
    • les particularités culturelles
    • les variations régionales
    • les effets stylistiques

Astuce mémo

Langues très dotées : meilleures performances ; langues peu dotées : résultats moins fiables

11. Biais et représentation dans les réponses

Points essentiels

  • Les LLM apprennent à partir de textes produits par des humains et peuvent reproduire des biais culturels, historiques, sociaux, linguistiques et géographiques.

📌 Le traducteur doit exercer un regard critique sur les réponses produites par les LLM.

12. Modération, alignement, censure et principes éthiques

Notions clés & Définitions

  • Modération : Consiste à filtrer certains contenus.
  • Alignement : Vise à rendre les réponses conformes aux objectifs fixés par les développeurs.
  • Censure : Consiste à supprimer ou à restreindre certains contenus.

Points essentiels

  • Les mécanismes d’alignement et de modération influencent les réponses des modèles sans les rendre nécessairement neutres.

  • Les enjeux éthiques comprennent :

    • la transparence
    • la responsabilité
    • la propriété intellectuelle
    • le maintien de l’humain au centre

Astuce mémo

La modération filtre, l’alignement oriente, la censure restreint ou supprime

Tableaux de synthèse

NMT et LLM en traduction

CritèreNMTLLM
Objectif principalTraduireGénérer du texte
EntraînementCorpus bilinguesCorpus multilingues généralistes
Fidélité au texte sourceTrès élevéeVariable selon le prompt
CréativitéFaibleÉlevée
ReformulationLimitéeExcellente
HallucinationsRaresPlus fréquentes

Modèles économiques des IA génératives

ModèleFonctionnementParticularité
AbonnementAccès par abonnementModèle le plus visible
APIIntégration dans des applications, facturation aux requêtes ou tokensModèle le plus rentable
Open sourceTéléchargement et exécution localeCode accessible
Open-weightTéléchargement et exécution localeParamètres publiés, processus d’entraînement non publié

Teste tes connaissances

Teste tes connaissances sur LLM et traduction assistée avec 37 questions à choix multiples et corrections détaillées.

1. Pourquoi un LLM peut-il reproduire des biais culturels ou sociaux dans ses réponses ?

2. Une entreprise intègre un LLM à son application et paie en fonction du nombre de requêtes ou de tokens consommés. Quel modèle économique utilise-t-elle ?

Faire le QCM →

Révisez avec les flashcards

Mémorisez les concepts clés de LLM et traduction assistée avec 83 flashcards interactives.

Qu’est-ce qu’un LLM ?

Un modèle d’intelligence artificielle entraîné sur de grandes quantités de textes pour apprendre les régularités du langage.

Quel est l’objectif d’un LLM dans une séquence de texte ?

Prédire le mot ou token suivant.

Qu’est-ce que la fenêtre de contexte d’un LLM ?

La quantité maximale de texte, mesurée en tokens, qu’il peut traiter simultanément.

Voir les flashcards →

Cours similaires

Crée tes propres fiches de révision

Importe ton cours et l'IA génère fiches, QCM et flashcards en 30 secondes.

Générateur de fiches