Depuis quand la gestion du Big Data est-elle fortement contrainte par des limites matérielles ?
Depuis le milieu des années 2000.
Comment le calcul distribué répond-il aux limites matérielles du Big Data ?
Il répartit programmation et calculs entre plusieurs cœurs, des GPU ou des clusters de machines.
Qu’est-ce que Hadoop ?
Une infrastructure open source pour l’informatique distribuée et le traitement de données à grande échelle.
Quelles étapes marquent l’évolution de Hadoop, de 2004 à 2014 ?
Google publie MapReduce en 2004, Nutch en propose une version libre en 2005 et devient Hadoop en 2006 ; Hadoop trie 500 Go en une minute en 2009, puis Spark atteint en 2014 une vitesse trois fois supérieure avec dix fois moins de machines.
Que signifie HDFS et quel type de système est-ce ?
Hadoop Distributed Filesystem, un système de gestion de fichiers distribué.
Quel rôle le NameNode joue-t-il dans un cluster HDFS ?
Il maintient l’arborescence et les métadonnées des fichiers et répertoires.
Quelles fonctions le développeur spécifie-t-il dans le modèle MapReduce ?
Une fonction map puis une fonction reduce.
Après Shuffle, quelles valeurs sont associées aux clés « pomme », « mangue », « orange » et « banane » ?
« pomme » : [2, 1] ; « mangue » : [2] ; « orange » : [1, 1] ; « banane » : [1].
Pour utiliser MapReduce avec Hadoop, quelles étapes précèdent la prise en charge du reste par Hadoop ?
Choisir un découpage parallélisable, définir la clé adaptée, puis écrire les programmes map et reduce.
Quel couple la fonction reduce produit-elle à partir d’une clé K2 et de ses valeurs ?
Un couple (K2, V3).
Teste tes connaissances avec un QCM de 10 questions sur Hadoop et jointures MapReduce.
1. À partir de quelle période la gestion du Big Data est-elle fortement contrainte par des limites matérielles ?
2. Une équipe doit accélérer un traitement de données trop lourd pour une seule unité de calcul. Quelle approche correspond au principe du calcul distribué ?
Révisez le cours complet dans la fiche de révision de Hadoop et jointures MapReduce.
Voir la fiche →Importe ton cours et l'IA génère des flashcards en 30 secondes.
Générateur de flashcards