À partir du milieu des années 2000, la gestion du Big Data est fortement contrainte par des limites matérielles.
Le calcul distribué répond à ces limites en répartissant programmation et calculs entre plusieurs cœurs, des GPU ou des clusters de machines.
★ À maîtriser
L’évolution de Hadoop comprend la publication de l’implémentation MapReduce de Google en 2004, l’implémentation libre de MapReduce par Nutch en 2005, la transformation de Nutch en Hadoop en 2006, le record de tri de 500 Go en une minute par Hadoop en 2009, puis la performance de Spark, trois fois plus rapide avec dix fois moins de machines, en 2014.
Hadoop combine HDFS, un système de fichiers distribué, et MapReduce, un moteur de calcul.
Compléments
★ À maîtriser
Compléments
Le NameNode supervise les métadonnées ; les DataNodes exécutent le stockage des blocs.
★ À maîtriser
Compléments
La fonction map transforme un couple (K1, V1) en une liste de couples (K2, V2).
La fonction reduce reçoit une clé K2 et la liste des valeurs qui lui sont associées, puis produit un couple (K2, V3).
Map transforme, Shuffle regroupe par clé, Reduce agrège.
★ À maîtriser
Après Shuffle, les valeurs associées aux clés de l’exemple sont :
🔄 La mise en œuvre demande de :
Compléments
Pour compter les mots du texte « pomme orange pomme orange », Map produit deux couples (« pomme », 1) et deux couples (« orange », 1), puis Reduce renvoie 2 pour chacune des deux clés.
Dans l’exemple de comptage de mots, le texte « pomme orange pomme pomme banane orange mangue mangue » est réparti en trois enregistrements : « pomme orange pomme », « pomme banane orange » et « mangue mangue ».
Dans l’exemple de comptage de mots, le résultat final est « pomme », 3 ; « mangue », 2 ; « orange », 2 ; « banane », 1.
★ À maîtriser
YARN signifie « Yet Another Resource Negotiator » et est une technologie introduite à partir de Hadoop 2.0.
YARN alloue dynamiquement les ressources aux applications en fonction de leurs besoins.
Compléments
En 2012, YARN est devenu un sous-projet d’Apache Hadoop.
En 2013, YARN a été ajouté comme fonctionnalité clé de Hadoop avec le déploiement de la version 2.0.
YARN propose les planificateurs FIFO Scheduler, Fair Scheduler et Capacity Scheduler.
Avec YARN, un cluster Hadoop peut exécuter des applications d’analyse en temps réel, de streaming data et des requêtes interactives sur Apache Spark tout en laissant tourner MapReduce.
★ À maîtriser
Dans l’étape map d’une jointure naturelle, chaque tuple (k, b) de R produit (k, ("R", b)) et chaque tuple (k, c) de S produit (k, ("S", c)).
Pour une même clé, le réducteur forme toutes les combinaisons possibles entre les valeurs de R et celles de S.
Compléments
Pour une jointure naturelle MapReduce, les relations sont R(k, b) et S(k, c) : k est leur clé commune, tandis que b et c sont leurs attributs respectifs.
Si le réducteur reçoit [("R", v1), ("R", v2), ("S", w1), ("S", w2)] pour une clé k, il produit (k, (v1, w1)), (k, (v1, w2)), (k, (v2, w1)) et (k, (v2, w2)).
★ À maîtriser
Compléments
Règles des jointures usuelles
| Type | Lignes conservées | Valeur sans correspondance |
|---|---|---|
| Inner join | Lignes correspondantes des deux tables | Ligne exclue |
| Left join | Toutes les lignes de T1 et correspondances de T2 | Colonnes de T2 à NULL |
| Right join | Toutes les lignes de T2 et correspondances de T1 | Colonnes de T1 à NULL |
Teste tes connaissances sur Hadoop et jointures MapReduce avec 10 questions à choix multiples et corrections détaillées.
1. À partir de quelle période la gestion du Big Data est-elle fortement contrainte par des limites matérielles ?
2. Une équipe doit accélérer un traitement de données trop lourd pour une seule unité de calcul. Quelle approche correspond au principe du calcul distribué ?
Mémorisez les concepts clés de Hadoop et jointures MapReduce avec 10 flashcards interactives.
Depuis quand la gestion du Big Data est-elle fortement contrainte par des limites matérielles ?
Depuis le milieu des années 2000.
Comment le calcul distribué répond-il aux limites matérielles du Big Data ?
Il répartit programmation et calculs entre plusieurs cœurs, des GPU ou des clusters de machines.
Qu’est-ce que Hadoop ?
Une infrastructure open source pour l’informatique distribuée et le traitement de données à grande échelle.
Importe ton cours et l'IA génère fiches, QCM et flashcards en 30 secondes.
Générateur de fiches