Reduce端的shuffle会取走map输出的数据,把来自不同map任务的文件归并,再合并
举一反三
- Hadoop MapReduce计算的流程是________。 A: Map任务—Shuffle—Reduce任务 B: Map任务—Reduce任务—Shuffle C: Reduce任务—Map任务—Shuffle D: Shuffle—Map任务—Reduce任务
- Map端的Shuffle过程包括4个步骤,分别是输入数据和执行Map任务;();溢写;文档归并。 A: 排序合并 B: 写入缓存 C: 读出缓存 D: 分区
- Reduce端的Shuffle过程包括() A: “领取”数据 B: 溢写(分区、排序和合并) C: 把数据输入给Reduce任务 D: 归并数据
- Shuffle过程分为Map端的操作和Reduce端的操作 。( )
- Shuffle连接Map和Reduce两个阶段。 Map Task将数据写到本地磁盘,Reduce Task从每个Map Task上读取一份数据。