QCM : Hadoop et jointures MapReduce (10 questions)

Questions et réponses du QCM

1. À partir de quelle période la gestion du Big Data est-elle fortement contrainte par des limites matérielles ?

À partir de l’année 2009
À partir du milieu des années 2000
À partir de l’année 2006
À partir du début des années 1990

À partir du milieu des années 2000

Explication

Les limites matérielles contraignant fortement la gestion du Big Data apparaissent au milieu des années 2000. Le début des années 1990, 2006 et 2009 correspondent à des repères chronologiques distincts, et non à la période indiquée.

2. Une équipe doit accélérer un traitement de données trop lourd pour une seule unité de calcul. Quelle approche correspond au principe du calcul distribué ?

Déplacer les données entre machines sans répartir le travail de calcul
Répartir programmation et calculs entre plusieurs cœurs, des GPU ou des machines
Augmenter la mémoire locale sans répartir les calculs entre unités
Exécuter le traitement de façon séquentielle sur un seul cœur

Répartir programmation et calculs entre plusieurs cœurs, des GPU ou des machines

Explication

Le calcul distribué répond aux limites matérielles en répartissant programmation et calculs entre plusieurs cœurs, des GPU ou des clusters de machines. Augmenter la mémoire, déplacer les données sans répartir le calcul ou rester sur un seul cœur ne correspond pas à ce principe.

3. Pour analyser Hadoop, une équipe distingue le stockage distribué du traitement des calculs. Quelle association des composants est correcte ?

HDFS constitue l’infrastructure complète et MapReduce le stockage
HDFS gère le système de fichiers distribué et MapReduce le calcul
HDFS exécute le calcul et MapReduce gère le système de fichiers
HDFS gère le stockage local et MapReduce la tolérance aux pannes

HDFS gère le système de fichiers distribué et MapReduce le calcul

Explication

Hadoop combine HDFS, système de fichiers distribué, et MapReduce, moteur de calcul. Inverser leurs rôles ou confondre l’un de ces composants avec l’infrastructure Hadoop elle-même attribue aux éléments des fonctions différentes.

4. Quel est le rôle principal du NameNode dans un cluster HDFS ?

Regrouper les blocs de données selon leur contenu
Exécuter les calculs distribués demandés par les applications
Stocker les blocs de fichiers sur les disques des machines du cluster
Maintenir l’arborescence et les métadonnées des fichiers et répertoires

Maintenir l’arborescence et les métadonnées des fichiers et répertoires

Explication

Le NameNode gère l’arborescence et les métadonnées, tandis que les DataNodes stockent et retrouvent les blocs. Confondre le NameNode avec un nœud de stockage attribue aux métadonnées le rôle assuré par les DataNodes.

5. Combien de phases successives comprend une itération MapReduce ?

Deux phases : Map et Reduce
Trois phases : Map, Reduce et stockage
Quatre phases : Map, Shuffle, Sort et Reduce
Trois phases : Map, Shuffle et Reduce

Trois phases : Map, Shuffle et Reduce

Explication

Une itération MapReduce comprend trois phases successives : Map, Shuffle et Reduce. Deux phases ne suffisent pas, car Shuffle regroupe les paires par clé avant leur traitement par Reduce.

6. Dans un traitement MapReduce de comptage de mots, quelle fonction calcule le nombre d’occurrences associé à chaque mot après le regroupement des valeurs ?

La fonction reduce additionne les valeurs regroupées pour chaque mot.
Le découpage répartit les valeurs regroupées entre les mots.
La phase Shuffle transforme les mots en enregistrements d’entrée.
La fonction map additionne les valeurs regroupées pour chaque mot.

La fonction reduce additionne les valeurs regroupées pour chaque mot.

Explication

La fonction reduce reçoit une clé correspondant au mot et les valeurs qui lui sont associées, puis les agrège pour produire son compte. La fonction map émet des paires mot-valeur, mais n’additionne pas les valeurs regroupées.

7. À partir de quelle version de Hadoop YARN a-t-il été introduit ?

À partir de Hadoop 2.0, déployé en 2012
À partir de Hadoop 3.0, déployé en 2013
À partir de Hadoop 1.0, déployé en 2011
À partir de Hadoop 2.0, déployé en 2013

À partir de Hadoop 2.0, déployé en 2013

Explication

YARN a été introduit à partir de Hadoop 2.0, dont le déploiement en tant que fonctionnalité clé a eu lieu en 2013. En 2012, YARN est devenu un sous-projet d’Apache Hadoop, mais il n’était pas encore intégré à cette version déployée.

8. Quelle différence distingue principalement une jointure gauche d’une jointure droite lorsque certaines clés ne correspondent pas ?

La jointure gauche conserve toutes les lignes de T2, tandis que la jointure droite conserve toutes celles de T1.
La jointure gauche conserve toutes les lignes de T1, tandis que la jointure droite conserve toutes celles de T2.
La jointure gauche conserve toutes les lignes des deux tables, tandis que la jointure droite ne garde que les correspondances.
La jointure gauche exclut les lignes sans correspondance, tandis que la jointure droite les conserve des deux tables.

La jointure gauche conserve toutes les lignes de T1, tandis que la jointure droite conserve toutes celles de T2.

Explication

La jointure gauche préserve chaque ligne de T1 et inscrit NULL dans les colonnes de T2 lorsqu’il n’y a pas de correspondance ; la jointure droite applique la règle symétrique à T2. L’idée que la jointure droite préserve T1 inverse les rôles des deux tables.

9. Dans une jointure naturelle MapReduce, que fait le réducteur avec les valeurs associées à une même clé commune ?

Il conserve la première valeur de R et la première valeur de S pour éviter les doublons.
Il additionne séparément les valeurs de R et de S avant de produire une seule ligne.
Il écarte les valeurs de S et regroupe uniquement celles de R par clé.
Il forme toutes les combinaisons entre les valeurs provenant de R et celles provenant de S.

Il forme toutes les combinaisons entre les valeurs provenant de R et celles provenant de S.

Explication

Le réducteur associe chaque valeur de R à chaque valeur de S portant la même clé, ce qui produit toutes les combinaisons possibles. Additionner les valeurs, comme le suggère un distracteur, ne réalise pas cette opération de jointure.

10. Dans une jointure Map-side entre une grande relation R et une petite relation S, quelle conséquence découle du chargement de S en mémoire par chaque mapper ?

Le réducteur doit rassembler les lignes des deux relations avant que les mappers puissent comparer leurs clés.
Les lignes de S sont réparties entre les mappers, qui transmettent ensuite les clés non appariées au réducteur.
Le mapper peut rechercher localement chaque clé de R dans S et produire la jointure sans étape de regroupement des clés.
Chaque mapper envoie toute la relation R à un nœud central afin d’y rechercher les correspondances dans S.

Le mapper peut rechercher localement chaque clé de R dans S et produire la jointure sans étape de regroupement des clés.

Explication

Puisque S est chargée en mémoire sur chaque nœud, le mapper peut chercher localement les correspondances pour les lignes de R et effectuer la jointure. À l’inverse, le regroupement des deux relations par un réducteur ne décrit pas cette exécution Map-side.

Révisez avec les flashcards

Mémorisez les réponses avec 10 flashcards sur Hadoop et jointures MapReduce.

Depuis quand la gestion du Big Data est-elle fortement contrainte par des limites matérielles ?

Depuis le milieu des années 2000.

Comment le calcul distribué répond-il aux limites matérielles du Big Data ?

Il répartit programmation et calculs entre plusieurs cœurs, des GPU ou des clusters de machines.

Qu’est-ce que Hadoop ?

Une infrastructure open source pour l’informatique distribuée et le traitement de données à grande échelle.

Voir les flashcards →

Approfondir avec la fiche

Consultez la fiche de révision complète sur Hadoop et jointures MapReduce.

Voir la fiche →

Cours similaires

Crée tes propres QCM

Importe ton cours et l'IA génère des QCM avec corrections en 30 secondes.

Générateur de QCM