Fiche de révision : Culture de l’intelligence artificielle

📋 Plan du Cours

1. Histoire et fondements de l’IA
2. Paradigmes de l’intelligence artificielle
3. Apprentissages et tâches du Machine Learning
4. Généralisation et ajustement des modèles
5. Réseaux neuronaux et Deep Learning
6. IA générative et modèles de langage
7. Transformers et mécanisme d’attention
8. Prompting et exercices pratiques
9. RAG et agents intelligents
10. Hallucinations et fiabilité
11. Biais et discriminations algorithmiques
12. Risques de l’IA générative
13. Éthique et responsabilité humaine

📅 Repères chronologiques

1. 1950Alan Turing a proposé un test évaluant si une machine peut imiter une conversation humaine au point de ne pas être distinguée de façon fiable. - test de Turing, 1950
2. 1956La conférence de Dartmouth marque la naissance officielle de l’intelligence artificielle, expression introduite par John McCarthy.
3. 1966Joseph Weizenbaum a créé ELIZA, l’un des premiers programmes conversationnels, conçu notamment pour simuler un dialogue avec un psychothérapeute.
4. 1997Deep Blue d’IBM a battu Garry Kasparov aux échecs.
5. 2017L’architecture Transformer a été introduite.
6. 2023Un cabinet d’avocats new-yorkais a présenté des références juridiques inventées après l’utilisation d’une IA conversationnelle.

📖 1. Histoire et fondements de l’IA

🔑 Notions clés & Définitions

• Intelligence artificielle : Domaine de l’informatique visant à concevoir des systèmes capables d’effectuer des tâches associées à des capacités intellectuelles humaines, comme apprendre, raisonner, reconnaître des formes, comprendre ou générer du langage et résoudre des problèmes.

★ À maîtriser

📌 L’IA faible réalise des tâches spécifiques sans conscience humaine, tandis que l’IA forte désigne l’idée d’une intelligence générale comparable à l’intelligence humaine et reste un objectif de recherche.

Compléments

• John McCarthy a créé LISP, un langage historiquement important pour l’intelligence artificielle et la manipulation de listes.

• ELIZA reconnaît des mots-clés et utilise des règles de reformulation et des réponses préparées, sans véritable mémoire du contexte ni compréhension humaine des émotions.

• AlphaGo Zero, système de DeepMind associé à 2017, a appris à jouer au go par auto-jeu et apprentissage par renforcement.

• L’AI Act est le règlement européen visant à encadrer l’utilisation de l’intelligence artificielle, notamment pour la sécurité, la transparence et la protection des droits fondamentaux, et il est entré en vigueur à l’été 2024.

📖 2. Paradigmes de l’intelligence artificielle

🔑 Notions clés & Définitions

• IA symbolique : Approche reposant sur des règles explicites, des symboles, des connaissances structurées et le raisonnement logique.
• Approche connexionniste : Approche utilisant notamment des réseaux de neurones artificiels dont les connexions et les poids sont ajustés pendant l’apprentissage.
• IA hybride : L’IA hybride combine des méthodes symboliques et des modèles statistiques ou connexionnistes afin d’associer la rigueur et l’explicabilité des règles à la souplesse de l’apprentissage sur les données.
• Paradigme : Grande approche ou méthode permettant de concevoir des systèmes d’IA.
• Ontologie : Représentation structurée de concepts et des relations entre eux.

★ À maîtriser

📌 L’IA symbolique utilise des règles explicites, tandis que le Machine Learning apprend des régularités et des paramètres à partir de données.

Compléments

• Une règle symbolique peut déclencher une alerte si un paiement dépasse 10 000 €.

💡 Astuce mémo

Symbolique : règles explicites ; connexionniste : poids appris.

📖 3. Apprentissages et tâches du Machine Learning

🔑 Notions clés & Définitions

• Apprentissage supervisé : Utilise des exemples étiquetés dont les réponses attendues sont connues.
• Apprentissage non supervisé : Recherche des structures, des groupes ou des régularités dans des données dépourvues d’étiquettes.
• Apprentissage par renforcement : L’apprentissage par renforcement fait agir un agent dans un environnement où il reçoit des récompenses ou des pénalités et améliore sa stratégie afin de maximiser les récompenses cumulées à long terme.
• Étiquette : Réponse attendue associée à un exemple d’entraînement.
• Clustering : Le clustering est le regroupement d’observations présentant des caractéristiques similaires et constitue généralement un apprentissage non supervisé.

★ À maîtriser

📌 La classification prédit une catégorie, tandis que la régression prédit une valeur numérique.

Compléments

• Classer des e-mails déjà étiquetés « spam » ou « non-spam » est un exemple d’apprentissage supervisé.

📖 4. Généralisation et ajustement des modèles

🔑 Notions clés & Définitions

• Généralisation : Capacité d’un modèle à réussir sur de nouvelles données qu’il n’a pas rencontrées pendant l’entraînement.
• Surapprentissage : Situation où un modèle apprend trop précisément les particularités des données d’entraînement et généralise mal.
• Sous-apprentissage : Situation où un modèle n’apprend pas suffisamment les régularités des données et obtient de mauvaises performances, y compris sur les données d’entraînement.

📝 Points essentiels

• Un modèle en surapprentissage obtient de très bons résultats sur les données d’entraînement mais de mauvais résultats sur des données nouvelles.

💡 Astuce mémo

Surapprentissage : entraînement réussi, nouvelles données ratées ; sous-apprentissage : les deux échouent.

📖 5. Réseaux neuronaux et Deep Learning

🔑 Notions clés & Définitions

• Deep Learning : Branche du Machine Learning qui utilise des réseaux de neurones comportant plusieurs couches de traitement.
• Neurone artificiel : Un neurone artificiel est une unité de calcul qui combine des entrées, des poids, généralement un biais et une fonction d’activation.
• Fonction d’activation : Une fonction d’activation introduit notamment de la non-linéarité dans un réseau, ce qui permet de modéliser des relations complexes impossibles à représenter par une simple transformation linéaire.
• Rétropropagation : La rétropropagation calcule comment les paramètres contribuent à l’erreur afin de permettre leur ajustement.
• Descente de gradient : La descente de gradient est une méthode d’optimisation qui modifie les paramètres dans le but de réduire une fonction de perte.

★ À maîtriser

• La relation entre les domaines est $\text{Deep Learning} \subset \text{Machine Learning} \subset \text{intelligence artificielle}$.

Compléments

• Les grandes catégories de couches sont : la couche d’entrée qui reçoit les données, les couches cachées qui transforment les informations et apprennent des représentations, la couche de sortie qui produit le résultat

• Pendant l’entraînement d’un réseau, les paramètres sont ajustés pour réduire l’erreur entre les prédictions et les résultats attendus.

• Les GPU accélèrent de nombreux calculs parallèles nécessaires à l’entraînement et à l’utilisation des réseaux de neurones.

💡 Astuce mémo

Entrée → couches cachées → sortie.

📖 6. IA générative et modèles de langage

🔑 Notions clés & Définitions

• LLM : Modèle statistique entraîné sur de grandes quantités de textes et capable de générer du langage à partir de régularités apprises.
• Token : Un token est une unité de texte manipulée par un modèle, qui peut être un mot, une partie de mot, un signe ou une autre unité selon la tokenisation.
• Génération autorégressive : La génération autorégressive produit du texte en prédisant un token, en l’ajoutant au contexte, puis en prédisant le token suivant.
• Tokenisation : Découpage du texte en tokens.
• Pattern : Structure, régularité ou répétition identifiable dans les données.
• Température : La température est un paramètre qui modifie la distribution de probabilités utilisée pour choisir les tokens ; une température basse rend généralement les réponses plus prévisibles et moins variées, tandis qu’une température élevée peut les rendre plus variées et moins prévisibles sans créer de nouvelles connaissances.

★ À maîtriser

• Une IA générative peut produire :

  • du texte
  • des images
  • du code
  • de l’audio
  • de la vidéo

• Pendant son entraînement, un LLM ajuste ses paramètres pour améliorer ses prédictions, notamment celles des tokens suivants.

📌 L’entraînement ajuste les paramètres du modèle, tandis que l’inférence utilise les paramètres appris pour produire une prédiction ou une réponse.

Compléments

• 🔄 La boucle simplifiée d’entraînement suit ces étapes :
  1. contexte
  2. prédiction
  3. calcul de l’erreur
  4. ajustement des paramètres

💡 Astuce mémo

Contexte → prédiction d’un token → ajout au contexte → token suivant.

📖 7. Transformers et mécanisme d’attention

🔑 Notions clés & Définitions

• Self-attention : Mécanisme qui pondère les relations entre les tokens d’une séquence afin de construire des représentations contextualisées.
• Embeddings : Représentations numériques des tokens utilisées par le modèle.

📝 Points essentiels

• GPT signifie « Generative Pre-trained Transformer » et repose sur l’architecture Transformer.

• Q, K et V signifient respectivement Query, Key et Value et permettent de calculer quelles informations des autres tokens sont pertinentes pour représenter un token donné.

• L’information de position aide le modèle à prendre en compte l’ordre des tokens.

📌 Un Transformer peut effectuer certains calculs sur les représentations des tokens en parallèle, mais GPT génère habituellement les nouveaux tokens d’une réponse successivement par autorégression.

📖 8. Prompting et exercices pratiques

🔑 Notions clés & Définitions

• Prompt : Instruction ou ensemble d’informations fourni à une IA pour guider sa réponse.
• Prompting : Conception et amélioration des consignes envoyées à un modèle.
• Chain-of-Thought : Le Chain-of-Thought est une technique de prompting visant à décomposer un problème en étapes de raisonnement, sans garantir une réponse correcte.

★ À maîtriser

📌 Le zero-shot demande une tâche sans exemple préalable, le one-shot fournit un exemple et le few-shot fournit quelques exemples avant la tâche.

• Le framework T-C-R-E-I comprend :

  • Task : définir la tâche
  • Context : fournir le contexte
  • Reference : fournir une référence, une source ou un exemple
  • Evaluate : évaluer le résultat de manière critique
  • Iterate : améliorer les instructions après évaluation

• Un bon prompt précise la tâche, le contexte, les contraintes et le résultat attendu, et peut indiquer le public cible et le format de sortie.

• Des exemples few-shot mal étiquetés peuvent orienter le modèle vers des classifications erronées, et few-shot n’est pas toujours meilleur que zero-shot car la qualité, la diversité et la pertinence des exemples comptent.

Compléments

• Le few-shot fournit au modèle des exemples dans le contexte du prompt sans modifier automatiquement ses poids.

• Dans le TD, le prompt vague « Explique-moi l’IA » est comparé à une consigne demandant une explication pour un enfant de 5 ans en trois phrases maximum, avec des mots simples et un exemple concret.

• Les techniques comparées sont :

  • zero-shot
  • one-shot
  • few-shot
  • Chain-of-Thought
  • few-shot avec exemples biaisés

📖 9. RAG et agents intelligents

🔑 Notions clés & Définitions

• RAG : Le RAG, ou génération augmentée par récupération, recherche des informations dans des sources externes et les fournit au modèle pour enrichir sa réponse.
• Agent IA : Système capable de poursuivre un objectif, d’utiliser des outils, d’observer des résultats et d’exécuter des actions dans un cadre défini.
• Agentic AI : L’Agentic AI est une approche systémique reposant sur un ou plusieurs agents coordonnés pour réaliser des tâches complexes avec planification et adaptation.

★ À maîtriser

📌 Le RAG apporte des informations externes au moment de la génération, tandis que l’entraînement modifie les paramètres du modèle.

📌 Le RAG récupère des connaissances, un agent IA utilise des outils et réalise des actions, tandis que l’Agentic AI planifie et orchestre des processus complexes.

Compléments

• 🔄 Le RAG suit cette séquence :

  1. question
  2. recherche documentaire
  3. récupération de passages pertinents
  4. génération d’une réponse

• Le RAG permet d’utiliser des connaissances externes ou actualisées sans réentraîner le modèle et peut réduire les hallucinations sans les supprimer totalement.

• 🔄 La boucle de fonctionnement suit ces étapes :

  1. réflexion
  2. action
  3. observation
  4. ajustement

• Un agent IA peut utiliser les outils suivants :

  • des API
  • des moteurs de recherche
  • des bases de données
  • des calculatrices

• L’Agentic AI décompose des objectifs complexes en sous-tâches et orchestre les actions, éventuellement en coordonnant des agents spécialisés comme un planificateur, un exécuteur et un vérificateur.

📌 L’autonomie d’un agent IA doit être encadrée et peut nécessiter une supervision humaine.

💡 Astuce mémo

RAG apporte des documents ; l’agent agit avec des outils ; l’Agentic AI orchestre des tâches.

📖 10. Hallucinations et fiabilité

🔑 Notions clés & Définitions

• Hallucination : Information fausse ou inventée, parfois présentée avec assurance.

📝 Points essentiels

• Les causes d’hallucinations mentionnées sont :

  • des données d’entraînement insuffisantes
  • des hypothèses erronées
  • des biais dans les données

• Les hallucinations sont particulièrement dangereuses dans les domaines médicaux, juridiques ou financiers parce qu’elles peuvent influencer des décisions importantes.

• Les moyens de limiter les risques sont :

  • vérifier les informations importantes
  • consulter des sources fiables
  • confronter les résultats
  • maintenir une supervision humaine

💡 Astuce mémo

Sources erronées, incomplètes ou mal interprétées → réponses potentiellement fausses.

📖 11. Biais et discriminations algorithmiques

🔑 Notions clés & Définitions

• Biais : Tendance systématique qui favorise ou défavorise certaines options ou certains groupes.
• Stéréotype : Généralisation simplifiée attribuée à un groupe de personnes.
• Discrimination : Traitement défavorable injustifié d’une personne ou d’un groupe.

★ À maîtriser

📌 Une seule réponse stéréotypée ne suffit pas à démontrer un biais systématique ; il faut répéter les observations, comparer plusieurs résultats et justifier les conclusions.

Compléments

• Des données d’entraînement biaisées peuvent conduire un modèle à reproduire ou renforcer des inégalités et des discriminations.

• Des représentations étudiées comme stéréotypées incluent le fait de représenter systématiquement les mécaniciens comme des hommes ou les personnes maîtrisant les nouvelles technologies comme des jeunes.

• Les autres biais étudiés comprennent :

  • les biais culturels
  • les biais socio-économiques
  • la sous-représentation du handicap

• La question « Pourquoi les réseaux sociaux sont-ils dangereux pour les adolescents ? » est orientée, tandis que « Quels sont les avantages et les risques des réseaux sociaux pour les adolescents ? » est formulée de manière plus neutre.

• 🔄 Le TD suit ces étapes :

  1. observer
  2. identifier
  3. justifier
  4. reformuler
  5. comparer

💡 Astuce mémo

Observer → identifier → justifier → reformuler → comparer.

📖 12. Risques de l’IA générative

🔑 Notions clés & Définitions

• Risque de confidentialité : Risque de divulgation ou d’utilisation inappropriée de données personnelles ou professionnelles.
• Phishing : Tentative de tromper une personne pour obtenir des informations sensibles ou l’inciter à réaliser une action dangereuse.
• Risque de propriété intellectuelle : Utilisation ou reproduction non autorisée de contenus protégés.

★ À maîtriser

• Les principaux risques présentés sont : la confidentialité des données, les biais et discriminations, la cybersécurité, les impacts environnementaux, la propriété intellectuelle, le manque de confidentialité des conversations, les hallucinations

Compléments

• Un salarié qui partage un fichier contenant des données clients avec un outil d’IA non autorisé expose des informations confidentielles.

• L’IA générative peut être utilisée pour produire des messages de phishing ou faciliter certaines cyberattaques.

• Les impacts environnementaux de l’IA mentionnés comprennent la consommation énergétique et les déchets électroniques, notamment liés aux infrastructures informatiques.

📌 Les conversations avec une IA ne sont pas nécessairement privées, car les garanties dépendent des outils, des paramètres et des politiques de traitement des données.

📖 13. Éthique et responsabilité humaine

🔑 Notions clés & Définitions

• Supervision humaine : Possibilité pour une personne de vérifier, contextualiser, corriger et refuser les résultats d’une IA.
• Transparence : Fait de rendre compréhensible l’utilisation de l’IA, ses objectifs et ses limites.
• Équité : Recherche d’un traitement juste, en limitant les écarts injustifiés entre les personnes ou les groupes.
• Token maxing : Le token maxing consiste à utiliser le plus de tokens possible en supposant que cela améliore automatiquement la qualité ou la productivité, alors que la longueur ne garantit ni la pertinence ni l’exactitude du résultat.

★ À maîtriser

📌 Le contrôle final des décisions importantes doit rester humain.

• Les trois principes pratiques sont :

  • citer : reconnaître les sources et les inspirations
  • vérifier : contrôler le respect des licences, des marques et des droits
  • transformer : apporter un véritable travail personnel à la production

• L’éthique de l’IA implique un usage transparent, équitable et responsable, le respect des droits et le maintien d’un contrôle humain adapté.

Compléments

📌 Une décision assistée par IA doit pouvoir être contestée afin de permettre la vérification, la correction d’erreurs et le contrôle humain.

📊 Tableaux de synthèse

Paradigmes et apprentissages