传统的MapReduce模型要求每一轮MapReduce操作之后,数据必须落地到分布式文件系统上。而一般的MapReduce应用通常由多个MapReduce作业组成,每个作业结束之后需要写入磁盘,接下去的Map任务很多情况下只是读一遍数据,为后续的Shuffle阶段做准备,这样其实造成了冗余的IO操作。为了解决这一问题,提供更优的性能,大数据计算服务提供了扩展的MapReduce模型,该模型区别于普通MapReduce模型的主要特点是?()
A: 支持Map后连接任意多个Reduce操作,如Map-Reduce-Reduce
B: 支持Map后不连接Reduce,而是连接另一个map,如Map-Map-Reduce
C: 支持ChainMapper/Reducer,即支持Map-Reduce-Map-Reduce
D: 支持没有Map,直接进入Reduce
A: 支持Map后连接任意多个Reduce操作,如Map-Reduce-Reduce
B: 支持Map后不连接Reduce,而是连接另一个map,如Map-Map-Reduce
C: 支持ChainMapper/Reducer,即支持Map-Reduce-Map-Reduce
D: 支持没有Map,直接进入Reduce
A
举一反三
- Hadoop MapReduce计算的流程是________。 A: Map任务—Shuffle—Reduce任务 B: Map任务—Reduce任务—Shuffle C: Reduce任务—Map任务—Shuffle D: Shuffle—Map任务—Reduce任务
- 在MapReduce编程模式中,Map任务与Reduce任务的数量分别是()? A: 一个Map任务,多个Reduce任务 B: 多个Map任务,多个Reduce任务 C: 一个Map任务,一个Reduce任务 D: 多个Map任务,一个Reduce任务
- ODPS的MapReduce可以支持在一个Map后连续多个reduce()
- 从MapReduce自身的命名特点可以看出,MapReduce由两个阶段组成:Map和Reduce。所有MapReduce程序都必须有Map和Reduce两个阶段
- 在MapReduce编程模式中,Map任务与Reduce任务的数量分别是多个Map任务,多个Reduce任务
内容
- 0
关于MapReduce原理,下面说法错误的是? A: 分为Map和Reduce两个阶段 B: Map阶段由一系列Map任务组成 C: Reduce阶段由一系列Reduce任务组成 D: Map阶段与Reduce阶段没有任何依赖关系
- 1
MapReduce是由Map和Reduce组成。
- 2
MapReduce计算分为Map和Reduce两个阶段。
- 3
简述MapReduce的Map阶段和Reduce阶段。
- 4
MapReduce模型高度的抽象为了两个函数Map和Reduce函数。( )