Fiche de révision : Introduction au Big Data

Plan du Cours

  1. Définition et dimensions du Big Data
  2. Échelles et structures des données
  3. Cas d’usage du Big Data
  4. Maturité des données en entreprise
  5. Entrepôts, lacs et architectures combinées
  6. Lakehouse et Data Mesh

1. Définition et dimensions du Big Data

Notions clés & Définitions

  • Big data : Wikipedia - Ensembles de données dont le volume, la complexité et la vitesse nécessitent de nouvelles architectures, méthodes et outils pour être exploités.
  • Vélocité : Vitesse à laquelle les données sont générées et traitées, par lots ou en temps réel.

★ À maîtriser

  • D. Laney présente en 2001 les dimensions volume, vélocité et variété dans « 3D Data Management: Controlling Data Volume, Velocity and Variety ».

Compléments

  • Le volume des données générées ou stockées peut atteindre quelques téraoctets à plusieurs pétaoctets par jour.

  • La véracité concerne l’exactitude et la fiabilité variables des données, tandis que la variabilité concerne leur cohérence ou incohérence de format, de qualité et de signification.

2. Échelles et structures des données

★ À maîtriser

  • Les données structurées correspondent généralement à des bases relationnelles dont le schéma est connu à l’avance selon le principe « schema first, data second ».

  • Les données semi-structurées comprennent notamment XML, JSON et HTML ; elles n’ont pas de schéma connu à l’avance, chaque objet peut avoir une structure différente et schéma et données sont mélangés.

Compléments

  • Les données non structurées sont utilisées notamment dans les applications grand public, la recherche et le multimédia ; elles sont plus nombreuses, mais leur densité d’information est plus faible.

  • Les équivalences présentées sont 1 octet pour 1 caractère, 1 ko (10³ octets) pour un courriel en texte brut, 1 Mo (10⁶ octets) pour une minute de MP3, 1 Go (10⁹ octets) pour un épisode de série et 1 To (10¹² octets) pour 250 films HD.

Astuce mémo

Schema-on-write : structure avant les données ; schema-on-read : structure à la lecture

3. Cas d’usage du Big Data

★ À maîtriser

  • Pour regrouper des magasins, des données clients et INSEE, notamment socio-démographiques et géolocalisées, servent à réaliser un clustering des magasins.

  • En e-commerce, le comportement web et le suivi des performances servent à augmenter le taux de transformation par A/B testing et personnalisation en temps réel.

Compléments

  • En distribution, les ventes et la météo peuvent alimenter la prévision de la demande et l’approvisionnement par apprentissage automatique.

  • En e-commerce, les données clients et ventes alimentent des recommandations allant du filtrage collaboratif au deep learning, y compris des recommandations en session.

  • En B2B, les factures et paiements peuvent alimenter une analyse prescriptive visant à augmenter le taux de recouvrement par scoring de risque.

4. Maturité des données en entreprise

Notions clés & Définitions

  • Transformation numérique : Intégration des technologies dans l’ensemble des activités d’une entreprise afin de changer fondamentalement l’usage des données, le fonctionnement et la création de valeur pour les clients.

★ À maîtriser

  • Au stade réactif, l’entreprise fonctionne en « spreadmart » : les données sont gérées de façon informelle et décentralisée dans des feuilles de calcul.

  • Au stade prédictif, le cloud permet de traiter des volumes plus importants, des types de données variés et des ingestions plus fréquentes ; l’apprentissage automatique contribue à des décisions en temps réel.

Compléments

  • Au stade informatif, la collecte repose sur une solution peu évolutive, limitée en taille et en types de données, avec une ingestion peu fréquente.

  • Au stade transformatif, la solution traite tout type de données quels que soient leur volume, leur vitesse ou leur type, et permet aux utilisateurs non techniciens de créer facilement rapports et tableaux de bord avec les outils de leur choix.

Astuce mémo

Réactive → informative → prédictive → transformative

5. Entrepôts, lacs et architectures combinées

★ À maîtriser

  • Le DWR stocke les données en tables, lignes et colonnes, associe calcul et stockage, et utilise le schema-on-write pour les transactions et les pistes d’audit.

  • Le data lake apparaît vers 2010, d’abord bâti sur HDFS puis largement déployé dans le cloud ; il stocke des objets sans moteur de calcul associé et utilise le schema-on-read pour les données brutes structurées, semi-structurées, non structurées ou binaires.

  • Le data warehouse moderne émerge vers 2011 et combine data lake pour la préparation des données et l’entraînement de modèles ML avec entrepôt relationnel pour la mise à disposition, la sécurité et la conformité.

Compléments

  • Le data warehouse relationnel (DWR) est associé à Teradata en 1979, à Jack E. Shemer et à des recherches au Caltech ; sa généralisation date de la fin des années 1980.

  • Le DWR vise à décharger les systèmes OLTP (CRUD) afin d’exécuter requêtes et rapports sans ralentir la production.

  • La promesse initiale du data lake de remplacer entièrement le DWR a échoué en raison des compétences pointues requises et de l’absence de transactions, de schéma et d’audit ; toutefois, Hortonworks n’a pas fait faillite, mais a fusionné avec Cloudera en 2019, tandis que les actifs de MapR ont été rachetés par HPE en 2019.

  • Le Data Fabric apparaît vers 2016 comme une évolution du data warehouse moderne, ajoutant des technologies d’ingestion, de sécurisation, d’interrogation et de recherche à grande échelle.

Astuce mémo

L’entrepôt organise les données à l’écriture ; le lac les interprète à la lecture

6. Lakehouse et Data Mesh

★ À maîtriser

  • Le Lakehouse, popularisé vers 2020 par Databricks, utilise le data lake comme référentiel unique pour tous les types de données et vise à remplacer entièrement le DWR.

  • Zhamak Dehghani introduit le Data Mesh en mai 2019 dans un blog ; il s’agit d’un concept, et non d’une technologie prête à l’emploi.

Compléments

  • Par rapport aux data lakes des années 2010, le Lakehouse ajoute une couche de stockage transactionnelle, notamment Delta Lake, Apache Iceberg ou Apache Hudi.

  • Le Data Mesh décentralise la gestion des données et de l’infrastructure par domaine métier pour répondre aux défis de propriété des données, de qualité et de scalabilité organisationnelle.

Astuce mémo

Lakehouse : référentiel unifié ; Data Mesh : responsabilité décentralisée par domaine

Tableaux de synthèse

Architectures de données comparées

ArchitectureStockageSchémaCoût
DWH relationnelRelationnelOn-writeÉlevé
Data LakeObjetOn-readFaible
DWH moderneRelationnel et objetOn-read et on-writeMoyen
Data FabricRelationnel et objetOn-read et on-writeMoyen à élevé
LakehouseObjetOn-readFaible à moyen
Data MeshSpécifique au domaineSpécifique au domaineÉlevé

Teste tes connaissances

Teste tes connaissances sur Introduction au Big Data avec 14 questions à choix multiples et corrections détaillées.

1. Une entreprise possède une grande quantité de données hétérogènes qui arrivent rapidement, mais ses outils habituels ne permettent pas de les exploiter efficacement. Quelle caractérisation correspond au Big Data ?

2. Quel chercheur a présenté en 2001 les dimensions volume, vélocité et variété dans « 3D Data Management: Controlling Data Volume, Velocity and Variety » ?

Faire le QCM →

Révisez avec les flashcards

Mémorisez les concepts clés de Introduction au Big Data avec 46 flashcards interactives.

Que désigne le big data selon Wikipédia ?

Des ensembles de données dont le volume, la complexité et la vitesse exigent de nouvelles architectures, méthodes et outils pour être exploités.

Quelle source est associée à la définition du big data ?

Wikipédia.

Qui a présenté les dimensions du volume, de la vélocité et de la variété ?

D. Laney.

Voir les flashcards →

Cours similaires

Crée tes propres fiches de révision

Importe ton cours et l'IA génère fiches, QCM et flashcards en 30 secondes.

Générateur de fiches