Haddop中的MapReduce

Question

shuffle阶段中那一步是可选的？
A.排序 B.分区 C.分组 D.规约

Answer 1

对于Hadoop MapReduce中的shuffle阶段,分区(分片)步骤是可选的,其他步骤是必需的。
shuffle阶段的具体步骤如下:

1. 排序:Map任务将输出的key-value对按key进行排序,以方便Reduce任务处理。
2. 分区:将排序后的key-value对按分区规则分到不同的 Reduce任务。这个步骤是可选的,如果不进行分区,所有的key-value对都会发送到同一个Reduce任务。
3. 分组:将具有相同key的value组合在一起,以便 Reduce 任务可以一次处理相同key的所有value。
4. 规约:当有多个value与同一个key关联时,这些值会被规约为一个值。这通常使用排序后的第一个值来实现。
   所以,对于题目的选择,正确的选项是B:分区步骤是可选的,其他步骤都是必需的。
   A:排序步骤是必需的。
   C:分组步骤是必需的。
   D:规约步骤也是必需的。
   所以选B:分区步骤是可选的,其他步骤都是必需的。