QCM : Calcul distribué et MapReduce avancé — 11 questions

Question 1

1. Quelle est la principale stratégie d’« échelle out » pour augmenter la puissance d’un traitement sur des données massives ?

Ajouter de nombreux serveurs peu coûteux

Réduire le nombre de machines pour simplifier le réseau

Remplacer tous les serveurs par une seule machine très puissante

Déplacer les données vers un stockage local unique

Explication

L’« échelle out » consiste à améliorer la capacité de calcul en ajoutant beaucoup de serveurs bon marché plutôt qu’en renforçant quelques machines. L’idée est adaptée aux charges data-intensive et aux grappes de serveurs banalisés.

Answer

Ajouter de nombreux serveurs peu coûteux

Question 2

2. Qu'est-ce que le modèle MapReduce en termes de programmation et d'exécution pour le traitement de données massives?

Un cadre d'exécution permettant d'effectuer des calculs distribués sur de très grandes quantités de données, en utilisant une architecture de grappes de serveurs.

Un système de gestion de bases de données relationnelles optimisé pour les requêtes SQL.

Un modèle de programmation séquentielle pour traiter des petites quantités de données sur un seul ordinateur.

Une méthode de compression de données pour réduire la taille des fichiers de postings.

Explication

MapReduce est un modèle de programmation et un cadre d'exécution conçu pour effectuer des calculs distribués sur de très grandes quantités de données, en utilisant une architecture de grappes de serveurs. Il permet de traiter efficacement des volumes massifs en parallélisant les tâches.

Answer

Un cadre d'exécution permettant d'effectuer des calculs distribués sur de très grandes quantités de données, en utilisant une architecture de grappes de serveurs.

Question 3

3. Pourquoi MapReduce privilégie-t-il la co-localisation du code et des données lors du traitement de très grands volumes ?

Pour éviter les coûts liés aux accès aléatoires au disque

Pour supprimer le besoin de parallélisme entre les serveurs

Pour permettre de stocker les données uniquement en mémoire vive

Pour garantir que chaque tâche utilise exactement le même nombre de données

Explication

MapReduce cherche à éviter les transferts inutiles de données et les accès aléatoires coûteux, en rapprochant le calcul des données. Cette organisation réduit les coûts d’I/O et améliore l’efficacité du traitement séquentiel.

Answer

Pour éviter les coûts liés aux accès aléatoires au disque

Question 4

4. Quel est le principe fondamental du calcul en nuage qui différencie cette approche du traitement local des données ?

Les données sont transférées intégralement vers un seul serveur central pour traitement.

Les ressources de calcul sont fournies comme un service à la demande, gérées à distance par des centres de données.

Le traitement est effectué directement sur chaque machine individuelle sans coordination.

Les calculs sont effectués uniquement sur des machines haut de gamme pour maximiser la performance.

Explication

Le calcul en nuage repose sur la fourniture de ressources comme un service à la demande, avec gestion distante des données et traitements, contrairement au traitement local. Cette approche permet d’accéder à une infrastructure flexible et élastique.

Answer

Les ressources de calcul sont fournies comme un service à la demande, gérées à distance par des centres de données.

Question 5

5. Quel est le rôle principal d’un combiner dans une application MapReduce ?

Garantir la correction même si l’opération n’est ni associative ni commutative

Remplacer définitivement le reducer dans tous les cas

Fusionner localement des valeurs de même clé avant le shuffle

Réordonner les clés globalement sur toute la grappe

Explication

Un combiner agit comme un mini-réducteur exécuté localement sur la sortie des mappers afin de réduire les données envoyées sur le réseau. Il reste une optimisation optionnelle, donc le résultat ne doit pas dépendre de son exécution.

Answer

Fusionner localement des valeurs de même clé avant le shuffle

Question 6

6. Quel est le rôle principal de l'agrégation locale dans le cadre de MapReduce ?

Diminuer la charge de travail du reducer en évitant le tri des clés

Augmenter la précision des résultats en traitant toutes les données globalement

Optimiser la mémoire du mapper en stockant toutes les valeurs intermédiaires

Réduire la taille des données transférées sur le réseau en regroupant les résultats partiels

Explication

L'agrégation locale sert à réduire la quantité de données envoyées au reducer en regroupant les résultats partiels près des données traitées, ce qui optimise le processus global.

Answer

Réduire la taille des données transférées sur le réseau en regroupant les résultats partiels

Question 7

7. Dans quel cas peut-on réutiliser un reducer tel quel comme combiner ?

Lorsque la mémoire disponible est très grande

Lorsque le mapper émet une seule paire par clé

Lorsque les données d’entrée sont déjà triées

Lorsque l’opération est commutative et associative

Explication

Si l’opération est commutative et associative, comme l’addition dans un comptage de mots, le reducer peut servir de combiner sans changer le résultat final. En revanche, une moyenne arrondie n’est pas un bon candidat car l’agrégation partielle modifie la réponse.

Answer

Lorsque l’opération est commutative et associative

Question 8

8. Quand la technique d'inversion d'ordre est-elle principalement utilisée dans le traitement des données de cooccurrence pour améliorer l'efficacité de l'index inversé?

Avant la compression des postings pour fixer les paramètres de compression.

Pendant la phase de tri final pour optimiser la recherche.

Lors de la phase de collecte initiale des données.

Après la génération des clés intermédiaires pour calculer les fréquences relatives.

Explication

L'inversion d'ordre est utilisée après la génération des clés intermédiaires pour diviser les comptes joints par le marginal, ce qui facilite le calcul des fréquences relatives dans l'index inversé.

Answer

Après la génération des clés intermédiaires pour calculer les fréquences relatives.

Question 9

9. En quoi la compression des postings diffère-t-elle de la simple encodage des identifiants de documents, et quels avantages offre l'utilisation de techniques comme les d-gaps ou le codage varInt ?

La compression des postings ne concerne que l'encodage des fréquences, alors que l'encodage simple concerne uniquement les identifiants de documents.

Les techniques comme les d-gaps ou le codage varInt permettent de rendre le décodage plus lent mais plus compact, contrairement à l'encodage simple qui privilégie la rapidité de décodage.

La compression des postings utilise des techniques spécifiques pour réduire la taille des listes de documents, tandis que l'encodage simple ne cherche qu'à représenter chaque identifiant en utilisant un format fixe.

La compression des postings se concentre sur la réduction de la taille des listes de documents en exploitant la triade d'écarts et de codages adaptatifs, contrairement à l'encodage simple qui encode directement chaque identifiant.

Explication

La compression des postings utilise des techniques telles que les d-gaps et le codage varInt pour réduire la taille des listes en exploitant la triade d'écarts, ce qui est plus efficace que l'encodage direct des identifiants bruts.

Answer

La compression des postings se concentre sur la réduction de la taille des listes de documents en exploitant la triade d'écarts et de codages adaptatifs, contrairement à l'encodage simple qui encode directement chaque identifiant.

Question 10

10. Qui est crédité de la formulation de l'algorithme PageRank, considéré comme une méthode clé pour mesurer l'importance relative des pages web dans un graphe de liens ?

Jon Kleinberg

Sergey Brin et Larry Page

Tim Berners-Lee

Vint Cerf et Bob Kahn

Explication

Sergey Brin et Larry Page ont formulé l'algorithme PageRank, qui attribue une importance aux pages web en fonction de leur position dans le graphe de liens.

Answer

Sergey Brin et Larry Page

Question 11

11. Quelles sont les conséquences principales de la distribution du PageRank sur un graphe lorsque des nœuds pendants existent, et comment cette situation influence-t-elle la stabilité de la mesure d'importance ?

La masse de PageRank se perd dans les nœuds pendants, ce qui nécessite une correction pour assurer la conservation de la masse totale.

Les nœuds pendants augmentent la vitesse de convergence du PageRank, améliorant ainsi la stabilité de la mesure.

Les nœuds pendants redistribuent leur masse de PageRank uniformément à tous les autres nœuds, ce qui stabilise la mesure d'importance.

La présence de nœuds pendants n'a aucun effet sur la distribution du PageRank, car leur influence est négligeable dans le calcul global.

Explication

Les nœuds pendants ne disposent pas de liens sortants, ce qui entraîne une perte de masse dans le calcul du PageRank. Cette masse manquante doit être redistribuée pour maintenir la stabilité et la conservation de la masse totale dans le graphe.

Answer

La masse de PageRank se perd dans les nœuds pendants, ce qui nécessite une correction pour assurer la conservation de la masse totale.

QCM : Calcul distribué et MapReduce avancé — 11 questions

Questions et réponses du QCM

1. Quelle est la principale stratégie d’« échelle out » pour augmenter la puissance d’un traitement sur des données massives ?

2. Qu'est-ce que le modèle MapReduce en termes de programmation et d'exécution pour le traitement de données massives?

3. Pourquoi MapReduce privilégie-t-il la co-localisation du code et des données lors du traitement de très grands volumes ?

4. Quel est le principe fondamental du calcul en nuage qui différencie cette approche du traitement local des données ?

5. Quel est le rôle principal d’un combiner dans une application MapReduce ?

6. Quel est le rôle principal de l'agrégation locale dans le cadre de MapReduce ?

7. Dans quel cas peut-on réutiliser un reducer tel quel comme combiner ?

8. Quand la technique d'inversion d'ordre est-elle principalement utilisée dans le traitement des données de cooccurrence pour améliorer l'efficacité de l'index inversé?

9. En quoi la compression des postings diffère-t-elle de la simple encodage des identifiants de documents, et quels avantages offre l'utilisation de techniques comme les d-gaps ou le codage varInt ?

10. Qui est crédité de la formulation de l'algorithme PageRank, considéré comme une méthode clé pour mesurer l'importance relative des pages web dans un graphe de liens ?

11. Quelles sont les conséquences principales de la distribution du PageRank sur un graphe lorsque des nœuds pendants existent, et comment cette situation influence-t-elle la stabilité de la mesure d'importance ?

Révisez avec les flashcards

Approfondir avec la fiche

Cours similaires

Gestion des fichiers en PHP

Identification utilisateur en PHP

Automated PCB Fault Diagnosis

Rôle d'un système d'exploitation

Questions techniques projet Compawgnon

Bases de Python pour débutants

Crée tes propres QCM