Shuffle连接Map和Reduce两个阶段。 Map Task将数据写到本地磁盘，Reduce Task从每个Map Task上读取一份数据。
对
举一反三
- 以下关于MapReduce计算框架描述正确的是？ A: JobTracker：Master节点，只有一个，管理所有作业，作业/任务的监控、错误处理等；将任务分解成一系列任务，并分派给TaskTracker。 B: TaskTracker：Slave节点，运行Map Task和Reduce Task；并与JobTracker交互，汇报任务状态。 C: Map Task：解析每条数据记录，传递给用户编写的map()，并执行，将输出结果写入本地磁盘(如果为map-only作业，直接写入HDFS)。 D: Reducer Task：从Map Task的执行结果中，远程读取输入数据，对数据进行排序，将数据按照分组传递给用户编写的reduce函数执行。
- Hadoop MapReduce计算的流程是________。 A: Map任务—Shuffle—Reduce任务 B: Map任务—Reduce任务—Shuffle C: Reduce任务—Map任务—Shuffle D: Shuffle—Map任务—Reduce任务
- 如果map输出的key是整数，现已设定两个reduce task，要求每个reduce task仅处理key为奇数或者偶数的键值对，代码中主要设计（ ）可实现该功能。 A: 分区 B: 排序 C: 组合 D: 分组
- MapReduce的三大阶段即是Map阶段→shuffle阶段→reduce阶段。( )
- 关于MapReduce原理,下面说法错误的是? A: 分为Map和Reduce两个阶段 B: Map阶段由一系列Map任务组成 C: Reduce阶段由一系列Reduce任务组成 D: Map阶段与Reduce阶段没有任何依赖关系
内容
- 0
关于MapReduce1.0的体系结构的描述，下列说法错误的是？ A: Task 分为Map Task 和Reduce Task 两种，分别由JobTracker 和TaskTracker 启动 B: slot 分为Map slot 和Reduce slot 两种，分别供MapTask 和Reduce Task 使用 C: TaskTracker 使用“slot”等量划分本节点上的资源量（CPU、内存等） D: TaskTracker 会周期性接收JobTracker 发送过来的命令并执行相应的操作（如启动新任务、杀死任务等）
- 1
Map和Reduce之间通过Shuffle进行通信。
- 2
Mapreduce将计算过程分为两个阶段，Map阶段并行处理输入数据，Reduce阶段对Map结果进行汇总。
- 3
Reduce端的shuffle会取走map输出的数据，把来自不同map任务的文件归并，再合并
- 4
从MapReduce自身的命名特点可以看出，MapReduce由两个阶段组成：Map和Reduce。所有MapReduce程序都必须有Map和Reduce两个阶段