Fiche de révision : Ingénierie des données et développement logiciel

1. 📌 L'essentiel

• Pipeline automatisé : Création avec Kubeflow sur AWS pour orchestrer ETL et ML.
• Qualité des données : Mise en place de KPI et métriques pour assurer la fiabilité.
• Intégration de sources variées : Collecte de données via scraping PDF dans S3.
• Projets cloud & Big Data : Utilisation de Spark, Kafka, S3, Neptune pour traitement massif.
• Développement full-stack : Python pour backend, React Native pour mobile, Spring & Vue.js pour web.
• Gestion agile : Utilisation de Scrum/Kanban, outils Jira, CI/CD avec Docker.
• Compétences techniques clés : Python, Scala, Java, SQL, NoSQL, outils DevOps.
• Expérience pédagogique : Master en génie logiciel et ingénierie des données; Licence info.
• Projets majeurs : Application gamification mobile & plateforme revue de code web.
• Langues : Français (natif), Anglais (B2).

2. 🧩 Structures & Composants clés

• Pipeline de données — orchestré par Kubeflow, déployé sur AWS.
• Data Lake — stockage des données intégrées via S3.
• KPI & Metrics — indicateurs de qualité et performance.
• Sources diversifiées — scraping PDF, APIs.
• Applications mobiles & web — React Native, Spring, Vue.js.
• Bases de données — PostgreSQL, MongoDB, Neptune, OpenSearch.
• Outils & méthodes — Docker, Git, CI/CD, Agile.
• Environnements cloud & Big Data — Spark, Kafka, AWS.

3. 🔬 Fonctions, Mécanismes & Relations

• Automatisation :
  • Kubeflow orchestre pipelines ETL/ML → réduction erreurs manuelles.
• Qualité :
  • KPI définissent seuils qualitatifs → action corrective.
• Intégration :
  • Scraping PDF → agrégation dans S3, transformation via Spark.
• Développement :
  • Python résilient + interface UI pour facilité utilisateur.
• Gestion de projets :
  • Méthodologies agiles → livraison itérative.
• Flux d'information :
  • Source de données → pipeline → stockage → analyse → visualisation.

4. Tableau comparatif : Bases de données NoSQL vs SQL

5. 🗂️ Diagramme Hiérarchique (ASCII)

Ingénierie des données
 ├─ Pipelines automatisés
 │    ├─ Kubeflow (orchestration)
 │    └─ AWS (cloud)
 ├─ Qualité et KPI
 │    ├─ Métriques de qualité
 │    └─ Suivi des performances
 ├─ Sources diversifiées
 │    ├─ Scraping PDF
 │    └─ APIs externes
 └─ Stockage
      ├─ S3 (données brutes)
      └─ Data Lake
Développement logiciel
 ├─ Applications mobiles
 │    └─ React Native
 ├─ Applications web
 │    ├─ Spring (backend)
 │    └─ Vue.js (frontend)
 └─ Outils DevOps
      ├─ Docker
      └─ CI/CD (Jenkins, GitLab)

6. ⚠️ Pièges & Confusions fréquentes

• Confondre pipeline ETL avec pipeline ML.
• Confondre bases relationnelles et NoSQL.
• Under-estimer l’importance des KPI en qualité de données.
• Croire que le scraping PDF suffit pour toutes sources.
• Confusion entre Kubernetes et Kubeflow.
• Négliger la gestion des erreurs dans les applications résilientes.
• Confondre les outils de déploiement Docker et orchestrateurs.
• Oublier l’impact de l’approche agile sur la livraison.

7. ✅ Checklist Examen Final

• Maîtrise des concepts de pipeline Data avec Kubeflow et AWS.
• Savoir définir et mesurer KPI et métriques de qualité.
• Capacité à expliquer l’intégration de sources variées.
• Connaissance des outils et technologies cloud et Big Data.
• Compréhension des bases SQL et NoSQL.
• Savoir présenter une architecture de traitement de données.
• Connaître les étapes de développement d’un projet full-stack.
• Identifier les enjeux de fiabilité et résilience.
• Être capable d’expliquer la hiérarchie d’un système data/web.
• Connaissance des méthodologies agiles et outils associés.
• Langues maîtrisées : Français (natif), Anglais (B2).