Introduction au traitement du langage naturel

📋 Plan du Cours

1. Introduction au NLP
2. Segmentation de texte
3. Tokenisation
4. Outils NLP
5. Analyse linguistique

📖 1. Introduction au NLP

🔑 Notions clés & Définitions

• Natural Language Processing (NLP) : Jurafsky (2019) : traitement automatisé des langues naturelles pour accomplir des tâches spécifiques.
• NLP pipeline : suite d’étapes permettant de transformer le langage brut en données exploitables, comprenant segmentation, tokenisation, annotation, etc.
• Vector Semantics : représentations numériques permettant de capturer la signification des mots en fonction de leur contexte.
• Embedding : technique de représentation vectorielle dense ou creuse des mots ou phrases, facilitant la mesure de leur similarité.

📝 Points essentiels

• NLP consiste à gérer la complexité des langues naturelles pour réaliser diverses tâches.
• Avant l’apprentissage automatique, l’accent était mis sur l’analyse des données linguistiques : types, distribution, préparation et représentation.
• Les représentations vectorielles (embeddings) permettent de capturer la similarité entre mots selon leur contexte.
• Les modèles de vecteurs se divisent en deux catégories : creux (matrices de co-occurrence) ou denses (modèles neuronaux).

💡 À retenir

Le NLP transforme la complexité des langues naturelles en représentations numériques exploitables, essentielles pour le développement d’applications variées.

📖 2. Segmentation de texte