Hadoop MapReduce需要将任务划分为两个阶段:(1)分解为多个小任务同时执行;(2)将所有小任务的运行结果进行合并得到最终结果。
举一反三
- 在MapReduce中,______阶段负责将任务分解,______阶段将任务合并
- 【多选题】MapReduce执行的全过程包括以下哪几个主要阶段? A. 从分布式文件系统读入数据 B. 执行Map任务输出中间结果 C. 通过 Shuffle阶段把中间结果分区排序整理后发送给Reduce任务 D. 执行Reduce任务得到最终结果并写入分布式文件系统
- Hadoop运行的是MapReduce任务,类似地,Storm运行的任务叫做 。
- MapReduce任务过程分为两个处理阶段
- 下面关于MapReduce工作流程的描述,正确的是( )。 A: 一个大的MapReduce作业,会被拆分成许多个Map任务在多台机器上并行执行 B: 每个Map任务通常运行在数据存储的节点上 C: 当Map任务结束后,会生成以<;key,value-list>;形式表示的许多中间结果 D: Reduce任务会对中间结果进行汇总计算得到最后结果