Introduction aux Techniques de Prétraitement NLP

📋 Plan du Cours

1. Prétraitement linguistique
2. Nettoyage et normalisation
3. Tokenisation et étiquetage
4. Vectorisation textuelle
5. Corpus multilingues
6. Stratégies multilingues

📖 1. Prétraitement linguistique

🔑 Notions clés & Définitions

• Prétraitement du texte : Le prétraitement du texte regroupe les opérations appliquées à des données brutes pour les rendre exploitables par des algorithmes de TAL.
• Bruit linguistique : Le bruit linguistique correspond à tout élément inutile dans un texte brut, comme des caractères, ponctuations non utiles ou contenus de type balises HTML.
• Variabilité linguistique : La variabilité linguistique désigne les différences d’écriture entre formes proches d’un même terme, qui compliquent l’analyse automatique.

📝 Points essentiels

• Les textes bruts sont souvent bruyants, hétérogènes et difficiles à utiliser directement par les modèles NLP.
• Un bon prétraitement peut améliorer les résultats d’un modèle sans changer l’algorithme.
• Le prétraitement vise à réduire le bruit, standardiser les données et rendre la structure plus cohérente.
• Les textes bruts posent aussi des problèmes de redondance via doublons et mots vides, qui alourdissent les analyses.

💡 Astuce mémo

Prétraitement = rendre le texte « exploitable » avant l’apprentissage automatique.

📖 2. Nettoyage et normalisation

🔑 Notions clés & Définitions