Fiche de révision : Introduction à l’intelligence artificielle

📋 Plan du Cours

1. Définir l’algorithmique et l’intelligence artificielle
2. Repères historiques de l’intelligence artificielle
3. Explosion combinatoire et complexité algorithmique
4. Apprentissage et génération de mots
5. Régression linéaire
6. Reconnaissance d’image
7. Traitement automatique de la langue
8. Vectorisation et représentation des mots
9. Encodage et décodage des phrases
10. Génération probabiliste de texte
11. Limites de la complétion par LLM
12. Usages envisagés des LLM
13. Engouement et choix des outils
14. Risques liés aux données et pré-prompts
15. Confiance et rétro-analyse algorithmique

📅 Repères chronologiques

1. 1943Un modèle mathématique de réseau de neurones marque une étape des débuts de l’intelligence artificielle.
2. 1949Les premiers pas en traduction automatique des langues naturelles sont réalisés.
3. 1950Alan Turing publie un article fondateur sur l’intelligence artificielle.
4. 1956La conférence de Dartmouth constitue la première utilisation de la terminologie « IA ».
5. 1987-1993L’intelligence artificielle connaît une seconde hibernation.
6. 1997Deep Blue remporte une victoire aux échecs.
7. 2012Un réseau de neurones à apprentissage profond apprend à reconnaître un chat.
8. 2016AlphaGo remporte une victoire au jeu de Go.
9. 2022ChatGPT est déployé publiquement, marquant l’essor des grands modèles de langage.

📖 1. Définir l’algorithmique et l’intelligence artificielle

🔑 Notions clés & Définitions

• Algorithme : Suite finie et non ambiguë d’instructions et d’opérations permettant de résoudre une classe de problèmes.

★ À maîtriser

• L’algorithmique est la science des algorithmes et répond notamment au besoin de décrire les étapes de calcul, de comparer les algorithmes selon le besoin et d’estimer le temps de calcul ou le stockage nécessaire pour les résultats intermédiaires.

📌 L’IA faible reproduit des processus cognitifs élémentaires et isolés pour des problèmes spécifiques dans des contextes déterminés, tandis que l’IA forte viserait à combiner ces processus afin de résoudre des problèmes non spécifiés dans un environnement partiellement indéterminé.

Compléments

• Une recette de cuisine et une procédure administrative, comme le traitement de dossiers Parcoursup, sont des exemples d’algorithmes.

• L’algorithmique s’applique à des problèmes complexes tels que :

  • la logistique
  • le repliement des protéines
  • le diagnostic médical
  • la recherche et l’extraction d’information
  • la reconnaissance d’image
  • l’analyse de textes manuscrits
  • les jeux
  • la recherche de chemins sur une carte

• Les exemples d’IA faible cités sont : jouer aux échecs, jouer au go, jouer à Jeopardy!, proposer un diagnostic médical, calculer un itinéraire routier, produire un texte cohérent à partir d’un prompt

📖 2. Repères historiques de l’intelligence artificielle

★ À maîtriser

• La période 1974-1980 est présentée comme une première hibernation, due aux limites de l’IA : complexité algorithmique, faible puissance de calcul et faible quantité de données disponibles, qui entraînent la fin rapide des financements.

Compléments

• Entre 1980 et 1987, le développement des systèmes experts entraîne leur utilisation massive dans l’industrie.

📖 3. Explosion combinatoire et complexité algorithmique

🔑 Notions clés & Définitions

• Carré magique : Carré dont chaque case contient un nombre croissant à partir de 1 et où les sommes de chaque ligne, colonne et diagonale sont égales.

★ À maîtriser

• Une méthode pour résoudre un carré magique consiste à essayer successivement toutes les combinaisons possibles de nombres.

Compléments

• Le nombre maximal de combinaisons à tester pour un carré de taille n×n est $(n^2)!$.

• Pour un carré 6×6, il faut tester au maximum 36! combinaisons, soit environ 10⁴¹, ce qui représente 10¹⁸ ans, soit 100 000 000 fois l’âge de l’univers, sur l’ordinateur utilisé dans l’exemple.

💡 Astuce mémo

La taille du problème augmente → les combinaisons explosent → le temps de calcul devient impraticable.

📖 4. Apprentissage et génération de mots

🔑 Notions clés & Définitions

• Profondeur de l’arbre de recherche : Nombre de niveaux explorés dans l’arbre.
• Facteur de branchement : Nombre de successeurs possibles à chaque étape de la recherche.

📝 Points essentiels

• La génération de mots par apprentissage comprend une phase d’apprentissage à partir d’exemples, puis une phase de prédiction qui produit des suites de lettres.

📌 Le générateur de mots v1 tire les lettres au hasard avec des probabilités égales, tandis que la version v2 utilise des probabilités de lettres apprises, par exemple 14,9 % pour E et 0,2 % pour Z.

💡 Astuce mémo

Tirage uniforme des lettres ≠ probabilités de lettres apprises.

📖 5. Régression linéaire

★ À maîtriser

• L’exemple de régression linéaire met en relation le nombre de fenêtres et le nombre d’habitants.

📐 Formule - La droite de régression est représentée par $y=ax+b$.

• L’IA fonctionne en deux phases : une phase d’apprentissage, puis une phase de prédiction.

Compléments

• L’exemple fournit des couples de valeurs associant un nombre de fenêtres compris entre 11 et 24 à une valeur du nombre d’habitants.

📖 6. Reconnaissance d’image

★ À maîtriser

• La reconnaissance d’image s’appuie, pendant l’apprentissage, sur une base d’images indexée et une liste de mots, puis produit en prédiction des probabilités associées à des catégories comme « chat », « chien » et « voiture ».

Compléments

• Dans l’exemple de prédiction, l’image est classée comme « chat » avec une probabilité de 92 %.

📖 7. Traitement automatique de la langue

★ À maîtriser

• Dans le traitement automatique de la langue avec un LLM, l’apprentissage s’effectue sur des milliards de textes, puis la prédiction peut servir à classifier, traduire, résumer ou compléter du texte.

Compléments

• Le volume de textes indiqué pour 2022 est de 175 000 000 000 et il est en augmentation.

• Les exemples de tâches sont :

  • la classification
  • la traduction
  • le résumé
  • la complétion

📖 8. Vectorisation et représentation des mots

★ À maîtriser

• L’apprentissage des représentations de mots analyse des centaines de milliards de lignes de texte pour associer chaque mot à un vecteur dans un espace à 300 dimensions.

• Les vecteurs rapprochent les mots dont le sens est proche dans un espace de signification.

Compléments

• L’apprentissage des représentations de mots est qualifié d’« auto-supervisé ».

💡 Astuce mémo

Visualiser les mots comme des points proches dans un espace de sens.

📖 9. Encodage et décodage des phrases

★ À maîtriser

• Des réseaux récurrents analysent une phrase en construisant un vecteur de pensée de dimension 1000.

• Le vecteur de pensée est décodé selon la tâche à effectuer, par exemple la classification, la traduction ou la complétion.

Compléments

• La phrase « Le boulanger fabrique du pain » est encodée sous la forme d’un vecteur de pensée.

• Dans l’exemple de traduction, « Le boulanger fabrique du pain » devient « The baker makes bread ».

💡 Astuce mémo

Le vecteur de pensée encode la phrase ; le décodeur la transforme selon la tâche.

📖 10. Génération probabiliste de texte

★ À maîtriser

• Pour compléter un texte, le modèle attribue des probabilités aux mots possibles et tire un nouveau mot, puis répète cette génération en utilisant le texte produit comme contexte.

Compléments

• La portion de texte utilisée en entrée, y compris les mots déjà produits, dépend de la taille de la fenêtre.

• La sortie est une suite de mots dont l’apparition est plausible dans le contexte fourni.

• Dans l’exemple de complétion, le mot « pain » reçoit une probabilité de 80 %, contre 5 % pour « fromage » et 0,1 % pour « abricot » et « voiture ».

• Un pré-prompt peut orienter les réponses en présentant l’agent conversationnel comme savant, gentil, utile, poli, bienveillant et aidant, et en demandant des réponses précises et concises.

💡 Astuce mémo

Contexte → tirage d’un mot plausible → nouveau contexte → mot suivant.

📖 11. Limites de la complétion par LLM

★ À maîtriser

• Un LLM de complétion probabiliste produit du texte plausible sans compréhension morale.

• Un LLM ne cherche pas nécessairement à dire quelque chose de vrai et ne sait pas ce qu’est la vérité.

• La véracité du texte produit n’est vérifiée à aucun moment.

Compléments

• Un LLM ne cherche pas forcément à reproduire un texte existant dans ses données initiales ; il génère une suite plausible au regard des textes fournis pendant l’apprentissage.

• Pendant la phase d’utilisation, le réseau de neurones du LLM est figé et le modèle n’apprend pas.

📖 12. Usages envisagés des LLM

📝 Points essentiels

• Les usages envisagés comprennent :
  • le diagnostic médical
  • le calcul
  • la synthèse de bibliographie scientifique
  • la décision juridique
  • la prise de décision stratégique
  • l’extraction de données pertinentes
  • la prise de décision politique
  • le jeu d’échecs

📖 13. Engouement et choix des outils

★ À maîtriser

📌 La réussite d’un LLM de complétion probabiliste de texte sur certains problèmes ne garantit pas que son approche soit transférable à tout problème.

📌 Pour un problème donné, il est préférable d’utiliser l’outil le mieux adapté.

Compléments

• Une large base documentaire associée à une capacité de production réflexive de texte argumentatif donne de bons résultats.

• Le couplage d’autres outils avec un LLM peut être envisagé, mais doit être évalué au regard des biais, des limites et des impacts.

💡 Astuce mémo

L’aisance en langage ne signifie pas que l’outil convient à tout problème.

📖 14. Risques liés aux données et pré-prompts

★ À maîtriser

• Les enjeux liés aux données d’apprentissage comprennent :
  • la fuite d’informations qu’elles contiennent
  • leur péremption à la date d’apprentissage
  • les biais involontaires
  • les manipulations intentionnelles

Compléments

• Un pré-prompt confidentiel peut orienter l’agent conversationnel vers une opinion politique et l’amener à tourner en ridicule des considérations scientifiques, sociales et environnementales.

📖 15. Confiance et rétro-analyse algorithmique

★ À maîtriser

• Le cours oppose à la rétro-analyse de l’IA d’échecs l’absence de rétro-analyse possible pour le LLM de complétion de texte présenté.

Compléments

• Une rétro-analyse d’une IA de jeu d’échecs peut s’appuyer sur les traces de données et de calculs.

📌 Le cours distingue l’intentionnalité explicite, l’intentionnalité initiale explicite et l’intentionnalité pratique opaque.

💡 Astuce mémo

Aux traces calculables de l’IA d’échecs s’oppose l’opacité pratique du LLM.