Fiche de révision : IA générative et culture des données

📋 Plan du Cours

1. Évolution du Web et recherche d’information
2. Notions fondamentales de l’intelligence artificielle
3. Types d’apprentissage automatique
4. Modèles de langage et Transformer
5. Usages académiques des IA génératives
6. Limites et enjeux des IA génératives
7. Vérification de l’information générée
8. Big Data et culture des données
9. Mesure et croissance des données
10. Sources de production des données
11. Caractéristiques du Big Data
12. Open Data et données propriétaires
13. Industrialisation et marchandisation des données
14. Chaînes de données et distinctions clés
15. Repères historiques et références scientifiques

📅 Repères chronologiques

1. 2015OpenAI est créée sous forme d’organisation à but non lucratif.
2. 2019OpenAI lance GPT-2, qui démontre la capacité de générer du texte fluide.
3. 2023Le cours situe GPT-4 et le développement de la multimodalité.

📖 1. Évolution du Web et recherche d’information

★ À maîtriser

📌 Le Web 1.0 privilégie la consultation de sites statiques, le Web 2.0 l’interactivité et la production de contenus, et le Web 3.0 l’interconnexion de données structurées.

📌 La recherche documentaire évolue du repérage de documents vers le dialogue avec des systèmes qui reformulent, synthétisent et génèrent, ce qui renforce la nécessité de vérifier les sources originales.

Compléments

• Depuis 2022, les IA génératives produisent notamment du texte, des images, du code ou des synthèses.

💡 Astuce mémo

Lecteur du Web 1.0 → producteur du Web 2.0 → connecté aux données du Web 3.0 → vérificateur avec les IA génératives

📖 2. Notions fondamentales de l’intelligence artificielle

🔑 Notions clés & Définitions

• Algorithme : Suite d’instructions organisées qui traite des données afin d’obtenir un résultat.
• Intelligence artificielle : Ensemble de techniques permettant à une machine d’accomplir des tâches associées à des capacités humaines, comme classer, reconnaître, prédire, traduire, recommander ou générer.
• Machine Learning : Branche de l’informatique où un système améliore ses performances en analysant des données et ajuste ses paramètres à partir d’exemples ou d’interactions.
• Deep Learning : Sous-ensemble du Machine Learning fondé sur des réseaux de neurones à plusieurs couches qui extraient des caractéristiques de données complexes et peu structurées.
• IA générative : Système qui produit un contenu nouveau à partir d’une consigne et de régularités apprises dans ses données d’entraînement, sans garantie intrinsèque de vérité ni pensée humaine.

📖 3. Types d’apprentissage automatique

🔑 Notions clés & Définitions

• Apprentissage supervisé : Entraînement d’un algorithme sur des données étiquetées par des humains afin de prédire une réponse pour de nouvelles données.
• Apprentissage non supervisé : Utilisation de données non étiquetées pour découvrir des structures, des régularités ou des regroupements cachés.
• Apprentissage par renforcement : L’apprentissage par renforcement fait apprendre un agent par interaction avec un environnement : il observe un état, choisit une action et reçoit une récompense ou une pénalité pour maximiser les récompenses au fil du temps.
• Clustering : Regroupement de données en groupes selon leurs ressemblances, comme la segmentation de clients à partir de leur âge, revenu et fréquence d’achat.

★ À maîtriser

📌 Le corpus d’entraînement doit ressembler au corpus à analyser, car un décalage de domaine peut dégrader l’interprétation des abréviations, de l’ironie ou du langage familier.

Compléments

• 🔄 L’analyse de sentiment supervisée suit ces étapes :

  1. Des humains étiquettent les commentaires.
  2. Le modèle repère des régularités linguistiques et statistiques.
  3. Le modèle classe de nouveaux commentaires.

• Dans l’exemple de Pac-Man, une pac-gomme rapporte +10, un bonus +50 et une collision avec un fantôme −100.

• Le Deep Learning est notamment utilisé pour :

  • la vision par ordinateur
  • la reconnaissance d’images et de visages
  • la reconnaissance vocale
  • la traduction
  • le traitement automatique du langage naturel

💡 Astuce mémo

Le supervisé reçoit des réponses étiquetées ; le non supervisé cherche seul des groupes.

📖 4. Modèles de langage et Transformer

🔑 Notions clés & Définitions

• LLM : Grand modèle de langage entraîné sur de très grandes quantités de textes qui estime, à partir du contexte, les tokens susceptibles de suivre.
• Token : Unité de texte traitée par un modèle de langage et pouvant correspondre à un mot, une partie de mot, une racine, un suffixe ou un signe de ponctuation.
• Vectorisation : Transformation de chaque token en représentation numérique appelée vecteur ou embedding, afin de calculer des proximités et des relations entre termes dans un contexte donné.
• Paramètre : Coefficient mathématique ajusté pendant l’entraînement qui influence la combinaison des informations et l’estimation de la probabilité du token suivant.

★ À maîtriser

• L’architecture Transformer, introduite en 2017 par Vaswani et ses collègues, utilise des mécanismes d’attention pour examiner les relations entre les éléments d’une séquence et prendre en compte le contexte global. - Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A., Attention is All You Need

📌 Un modèle peut reproduire ou amplifier les erreurs, les stéréotypes, les déséquilibres ou les contenus contestables présents dans ses données d’entraînement.

Compléments

• GPT signifie :

  • Generative : génératif
  • Pre-trained : pré-entraîné
  • Transformer : architecture Transformer

• Les corpus cités comprennent :

  • Common Crawl
  • OpenWebText2
  • BookCorpus
  • Wikipédia

• Le cours présente GPT-3 en 2020 avec 175 milliards de paramètres et le développement du few-shot learning. - Brown, T. et al., Language Models are Few-Shot Learners

💡 Astuce mémo

Tokeniser → vectoriser → pondérer → prédire

📖 5. Usages académiques des IA génératives

📝 Points essentiels

• Les usages académiques se regroupent en quatre catégories :

  • l’aide à la programmation
  • l’assistance linguistique
  • l’aide à la compréhension
  • l’inspiration pour des idées, problématiques ou plans

• Une utilisation méthodique consiste à demander des explications ou des pistes, comparer avec le cours et les sources originales, reformuler avec ses propres mots, vérifier les données importantes, conserver une trace si demandé et ne pas déléguer entièrement le raisonnement ou la vérification.

💡 Astuce mémo

PACI : Programmation, Assistance linguistique, Compréhension, Inspiration

📖 6. Limites et enjeux des IA génératives

🔑 Notions clés & Définitions

• Hallucination : Information inventée ou erronée produite avec un ton convaincant, par exemple une fausse date, une fausse citation ou une référence bibliographique inexistante.
• Opacité algorithmique : Difficulté à connaître les données d’entraînement, la pondération des sources, les raisons précises d’une réponse, la part de données protégées ou personnelles et les critères de formulation.
• Délégation cognitive : Transfert à un outil d’une activité intellectuelle que l’on devrait exercer soi-même, comme chercher, comparer, problématiser, résumer ou argumenter.

★ À maîtriser

• Les enjeux éthiques et juridiques comprennent : le droit d’auteur, l’aspiration de contenus, le plagiat, la réutilisation des données personnelles, la confidentialité des documents envoyés, la responsabilité en cas d’erreur ou de dommage

Compléments

• L’outil de recrutement d’Amazon a été critiqué parce qu’entraîné sur des candidatures historiquement majoritairement masculines, il défavorisait certains CV mentionnant les femmes ou des établissements féminins.

💡 Astuce mémo

Une réponse vraisemblable n’est pas nécessairement vraie.

📖 7. Vérification de l’information générée

★ À maîtriser

• La vérification d’une réponse générée consiste à identifier qui parle, retrouver la source originale, vérifier que cette source existe et est identifiable, puis rechercher des confirmations auprès de sources indépendantes.

Compléments

• Une grille de vérification examine :
  • l’auteur
  • la date
  • le type de source
  • les preuves fournies
  • le recoupement
  • l’objectif de la source
  • l’expression de l’incertitude

💡 Astuce mémo

Qui parle ? Quelle source ? Est-elle vérifiable ? D’autres sources corroborent-elles ?

📖 8. Big Data et culture des données

🔑 Notions clés & Définitions

• Donnée : Représentation codée d’un fait, d’une mesure, d’une observation ou d’une interaction ; elle devient une information lorsqu’elle est interprétée et contextualisée.
• Big Data : Ensemble de données produites, collectées, stockées et analysées à une échelle où les outils traditionnels ne suffisent plus, ainsi que les infrastructures et pratiques industrielles associées.
• Open Data : Données rendues accessibles, téléchargeables et réutilisables selon une licence qui autorise leur réutilisation sous certaines conditions.
• Data Literacy : Capacité à comprendre, lire, interpréter, produire, évaluer et utiliser des données de manière critique et responsable.

💡 Astuce mémo

La donnée est brute ; l’information apparaît quand elle est interprétée et contextualisée.

📖 9. Mesure et croissance des données

★ À maîtriser

• Un zettaoctet correspond à 10^21 octets et sert à représenter des volumes mondiaux de données produits et répliqués à l’échelle planétaire.

• Le cours donne comme ordres de grandeur du volume mondial de données 2 Zo en 2010, 16 Zo en 2015, 64 Zo en 2020 et une prévision de 181 Zo en 2025.

Compléments

• Les unités décimales de données vont de l’octet à l’exaoctet par puissances de 10 croissantes : Ko = 10^3, Mo = 10^6, Go = 10^9, To = 10^12, Po = 10^15 et Eo = 10^18 octets.

📖 10. Sources de production des données

🔑 Notions clés & Définitions

• IoT : Ensemble d’objets connectés qui produisent des données au moyen de capteurs environnementaux, caméras, véhicules connectés ou autonomes, équipements domotiques et dispositifs de santé connectés.

📝 Points essentiels

• Les individus produisent des données en :

  • publiant des messages et des photos
  • regardant des vidéos
  • cliquant, aimant ou partageant
  • envoyant des messages
  • utilisant des applications
  • remplissant des formulaires en ligne

• Ces systèmes produisent des données grâce aux :

  • transactions bancaires
  • achats en ligne
  • registres administratifs
  • opérations financières
  • journaux d’activité des serveurs (logs)
  • systèmes de gestion et de suivi

📖 11. Caractéristiques du Big Data

🔑 Notions clés & Définitions

• 3 V du Big Data : Les 3 V du Big Data sont le Volume, la Variété et la Vélocité : quantité de données, diversité des formats et sources, et vitesse de production, circulation et traitement.

📝 Points essentiels

📌 Les données structurées sont organisées en tables, colonnes et bases relationnelles, les données semi-structurées contiennent des balises ou métadonnées, et les données non structurées comprennent notamment les textes libres, images, sons et vidéos.

• Des applications nécessitent parfois une analyse presque en temps réel :
  • paiements
  • transports
  • sécurité
  • recommandations
  • suivi de stocks

💡 Astuce mémo

Les 3 V : Volume, Variété, Vélocité

📖 12. Open Data et données propriétaires

★ À maîtriser

📌 L’Open Data est accessible et réutilisable selon une licence pour favoriser notamment transparence et intérêt général, tandis que les données propriétaires sont captées et conservées par un acteur privé à des fins stratégiques ou économiques.

📌 L’ouverture des données peut soutenir la transparence démocratique, l’évaluation des politiques publiques, la recherche scientifique et l’innovation, mais exige de protéger les données personnelles et de documenter sources, formats et méthodes de collecte.

Compléments

• Les exemples d’Open Data comprennent : les statistiques nationales, les données météorologiques, les cartographies, les horaires et réseaux de transports, les indicateurs administratifs et territoriaux

💡 Astuce mémo

Open Data : accès et réutilisation ; données propriétaires : accès contrôlé par un acteur privé.

📖 13. Industrialisation et marchandisation des données

📝 Points essentiels

• Dans la chaîne de valorisation du Big Data, les traces numériques sont collectées, stockées, nettoyées et organisées, croisées avec d’autres données, analysées par des algorithmes, puis transformées en profils, prédictions ou services.

• Les données sont valorisées par :

  • le ciblage publicitaire
  • le profilage comportemental
  • la recommandation algorithmique
  • la captation de l’attention
  • le classement de l’information
  • l’optimisation logistique
  • l’analyse prédictive

📌 Les données et les algorithmes ne sont pas neutres : ils participent à organiser la visibilité, la circulation de l’information, la construction des marchés et les rapports de pouvoir. - Bullich, V. et Clavier, V., Production des données, “Production de la société”. Les Big Data et algorithmes au regard des Sciences de l’information et de la communication, 2018

💡 Astuce mémo

Collecter → stocker → organiser → croiser → analyser → valoriser

📖 14. Chaînes de données et distinctions clés

★ À maîtriser

• La chaîne générale relie la production de données par les individus, organisations et objets connectés à leur accumulation en Big Data, à l’apprentissage automatique, aux modèles, à la génération ou prédiction, puis aux usages sociaux et aux enjeux de fiabilité, de pouvoir et de responsabilité.

📌 Une réponse vraisemblable semble probable dans son contexte, mais cette apparence ne garantit pas qu’elle soit vraie ou exacte.

Compléments

📌 Le Machine Learning apprend à partir de données, tandis que le Deep Learning est son sous-ensemble fondé sur des réseaux de neurones à plusieurs couches.

📌 Un système peut automatiser une tâche sans comprendre ni décider comme un être humain.

💡 Astuce mémo

Données → apprentissage → modèles → génération → usages sociaux

📖 15. Repères historiques et références scientifiques

📝 Points essentiels

• Brown et al. publient en 2020 « Language Models are Few-Shot Learners », référence associée au few-shot learning dans le cours. - Brown, T. et al.

• Vaswani et ses collègues publient en 2017 « Attention is All You Need », référence sur l’architecture Transformer citée dans le cours. - Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A.

📊 Tableaux de synthèse

Types d’apprentissage automatique

Open Data et Big Data propriétaire