Fiche de révision : Hadoop et jointures MapReduce

Plan du Cours

  1. Principes du calcul distribué
  2. Hadoop et son évolution
  3. Architecture du système HDFS
  4. Fonctions et étapes de MapReduce
  5. Comptage de mots par MapReduce
  6. YARN dans Hadoop
  7. Types de jointures relationnelles
  8. Jointure naturelle avec MapReduce
  9. Jointure Map-side

1. Principes du calcul distribué

Points essentiels

  • À partir du milieu des années 2000, la gestion du Big Data est fortement contrainte par des limites matérielles.

  • Le calcul distribué répond à ces limites en répartissant programmation et calculs entre plusieurs cœurs, des GPU ou des clusters de machines.

2. Hadoop et son évolution

Notions clés & Définitions

  • Hadoop : Infrastructure open source pour l’informatique distribuée et le traitement de données à grande échelle.

★ À maîtriser

  • L’évolution de Hadoop comprend la publication de l’implémentation MapReduce de Google en 2004, l’implémentation libre de MapReduce par Nutch en 2005, la transformation de Nutch en Hadoop en 2006, le record de tri de 500 Go en une minute par Hadoop en 2009, puis la performance de Spark, trois fois plus rapide avec dix fois moins de machines, en 2014.

  • Hadoop combine HDFS, un système de fichiers distribué, et MapReduce, un moteur de calcul.

Compléments

  • Hadoop masque à l’utilisateur la complexité liée à la parallélisation et à la tolérance aux pannes.

3. Architecture du système HDFS

Notions clés & Définitions

  • HDFS : (Hadoop Distributed Filesystem) est un système de gestion de fichiers distribué qui répartit de gros fichiers sur les disques durs de plusieurs machines.

★ À maîtriser

  • Un cluster HDFS comprend un NameNode, qui maintient l’arborescence et les métadonnées des fichiers et répertoires, et plusieurs DataNodes, qui stockent et retrouvent les blocs à la demande.

Compléments

  • Le NameNode répartit les blocs des fichiers sur les disques des DataNodes.

Astuce mémo

Le NameNode supervise les métadonnées ; les DataNodes exécutent le stockage des blocs.

4. Fonctions et étapes de MapReduce

Notions clés & Définitions

  • MapReduce : Modèle de programmation dans lequel le développeur spécifie successivement une fonction map pour transformer les données et une fonction reduce pour les agréger.

★ À maîtriser

  • 🔄 Une itération MapReduce comprend trois phases successives :
    1. Map transforme indépendamment et en parallèle chaque enregistrement d’entrée en une ou plusieurs paires clé-valeur
    2. Shuffle regroupe les paires ayant la même clé et les envoie vers la même tâche reduce.
    3. Reduce reçoit chaque clé avec toutes ses valeurs et peut produire zéro, un ou plusieurs résultats.

Compléments

  • La fonction map transforme un couple (K1, V1) en une liste de couples (K2, V2).

  • La fonction reduce reçoit une clé K2 et la liste des valeurs qui lui sont associées, puis produit un couple (K2, V3).

Astuce mémo

Map transforme, Shuffle regroupe par clé, Reduce agrège.

5. Comptage de mots par MapReduce

★ À maîtriser

  • Après Shuffle, les valeurs associées aux clés de l’exemple sont :

    • « pomme » : [2, 1]
    • « mangue » : [2]
    • « orange » : [1, 1]
    • « banane » : [1]
  • 🔄 La mise en œuvre demande de :

    1. Choisir un découpage parallélisable des données d’entrée.
    2. Définir la clé adaptée au problème.
    3. Écrire le programme map.
    4. Écrire le programme reduce.

Compléments

  • Pour compter les mots du texte « pomme orange pomme orange », Map produit deux couples (« pomme », 1) et deux couples (« orange », 1), puis Reduce renvoie 2 pour chacune des deux clés.

  • Dans l’exemple de comptage de mots, le texte « pomme orange pomme pomme banane orange mangue mangue » est réparti en trois enregistrements : « pomme orange pomme », « pomme banane orange » et « mangue mangue ».

  • Dans l’exemple de comptage de mots, le résultat final est « pomme », 3 ; « mangue », 2 ; « orange », 2 ; « banane », 1.

6. YARN dans Hadoop

★ À maîtriser

  • YARN signifie « Yet Another Resource Negotiator » et est une technologie introduite à partir de Hadoop 2.0.

  • YARN alloue dynamiquement les ressources aux applications en fonction de leurs besoins.

Compléments

  • En 2012, YARN est devenu un sous-projet d’Apache Hadoop.

  • En 2013, YARN a été ajouté comme fonctionnalité clé de Hadoop avec le déploiement de la version 2.0.

  • YARN propose les planificateurs FIFO Scheduler, Fair Scheduler et Capacity Scheduler.

  • Avec YARN, un cluster Hadoop peut exécuter des applications d’analyse en temps réel, de streaming data et des requêtes interactives sur Apache Spark tout en laissant tourner MapReduce.

7. Types de jointures relationnelles

Notions clés & Définitions

  • Jointure : Opération qui combine deux tables, également appelées relations, possédant une clé commune.
  • Inner join : Un inner join combine les enregistrements de T1 et T2 lorsque leurs valeurs correspondent pour une clé commune.
  • Left join : Un left join retourne tous les enregistrements de T1 et les enregistrements correspondants de T2 ; en l’absence de correspondance, les colonnes de T2 valent NULL.
  • Right join : Un right join retourne toutes les lignes de T2 et les lignes correspondantes de T1 ; en l’absence de correspondance dans T1, les colonnes correspondantes du résultat valent NULL.

Points essentiels

  • Dans l’exemple de jointure interne entre T1 et T2, les valeurs d’id a et b produisent respectivement neuf combinaisons et quatre combinaisons entre leurs lignes.

8. Jointure naturelle avec MapReduce

★ À maîtriser

  • Dans l’étape map d’une jointure naturelle, chaque tuple (k, b) de R produit (k, ("R", b)) et chaque tuple (k, c) de S produit (k, ("S", c)).

  • Pour une même clé, le réducteur forme toutes les combinaisons possibles entre les valeurs de R et celles de S.

Compléments

  • Pour une jointure naturelle MapReduce, les relations sont R(k, b) et S(k, c) : k est leur clé commune, tandis que b et c sont leurs attributs respectifs.

  • Si le réducteur reçoit [("R", v1), ("R", v2), ("S", w1), ("S", w2)] pour une clé k, il produit (k, (v1, w1)), (k, (v1, w2)), (k, (v2, w1)) et (k, (v2, w2)).

9. Jointure Map-side

Notions clés & Définitions

  • Jointure Map-side : La jointure Map-side distribue la petite table à tous les nœuds et réalise la jointure dans le mapper.

★ À maîtriser

  • Pour une jointure Map-side entre R, de grande taille, et S, de petite taille, le mapper charge S en mémoire, lit une ligne de R, recherche sa clé dans S, puis effectue la jointure localement.

Compléments

  • La petite table S peut être distribuée avec l’option -files.

Tableaux de synthèse

Règles des jointures usuelles

TypeLignes conservéesValeur sans correspondance
Inner joinLignes correspondantes des deux tablesLigne exclue
Left joinToutes les lignes de T1 et correspondances de T2Colonnes de T2 à NULL
Right joinToutes les lignes de T2 et correspondances de T1Colonnes de T1 à NULL

Teste tes connaissances

Teste tes connaissances sur Hadoop et jointures MapReduce avec 10 questions à choix multiples et corrections détaillées.

1. À partir de quelle période la gestion du Big Data est-elle fortement contrainte par des limites matérielles ?

2. Une équipe doit accélérer un traitement de données trop lourd pour une seule unité de calcul. Quelle approche correspond au principe du calcul distribué ?

Faire le QCM →

Révisez avec les flashcards

Mémorisez les concepts clés de Hadoop et jointures MapReduce avec 10 flashcards interactives.

Depuis quand la gestion du Big Data est-elle fortement contrainte par des limites matérielles ?

Depuis le milieu des années 2000.

Comment le calcul distribué répond-il aux limites matérielles du Big Data ?

Il répartit programmation et calculs entre plusieurs cœurs, des GPU ou des clusters de machines.

Qu’est-ce que Hadoop ?

Une infrastructure open source pour l’informatique distribuée et le traitement de données à grande échelle.

Voir les flashcards →

Cours similaires

Crée tes propres fiches de révision

Importe ton cours et l'IA génère fiches, QCM et flashcards en 30 secondes.

Générateur de fiches