大数据计算服务(MaxCompute,原ODPS)中的MapReduce是一种编程模型,用于大规模数据集的并行运算,它极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。其中,两个主要阶段Map和Reduce相互配合,可以完成对海量数据的处理。关于这两个阶段的关系,说法正确的有()
A: 一个reduce的输入数据可能来自于多个map的输出
B: 一个MR处理可以不包括任何map
C: 一个MR处理可以不包括任何reduce
D: 一个map的输出结果可能会被分配到多个reduce上去
A: 一个reduce的输入数据可能来自于多个map的输出
B: 一个MR处理可以不包括任何map
C: 一个MR处理可以不包括任何reduce
D: 一个map的输出结果可能会被分配到多个reduce上去
A,C
举一反三
- 关于MapReduce的说法错误的是:()。 A: 是一种编程模型 B: 不适用于大规模数据集(大于1TB)的并行运算 C: 包含“Map(映射)”和“Reduce(归约)” D: 便于编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上
- 在MapReduce编程模式中,Map任务与Reduce任务的数量分别是()? A: 一个Map任务,多个Reduce任务 B: 多个Map任务,多个Reduce任务 C: 一个Map任务,一个Reduce任务 D: 多个Map任务,一个Reduce任务
- Mapreduce将计算过程分为两个阶段,Map阶段并行处理输入数据,Reduce阶段对Map结果进行汇总。
- 本讲提到,MapReduce是一种编程模型,用于大规模数据集的并行运算,它可以分为()几个阶段 A: master B: Map C: Reduce D: worker E: figure
- MapReduce中一个执行Reduce任务的Worker,可能会从多个Map机器上领取数据。()
内容
- 0
下面哪一项是MapReduce编程需要考虑的问题( )。 A: 数据输入 B: Map阶段处理逻辑 C: 数据输出 D: Reduce阶段处理逻辑
- 1
以下关于MapReduce的说法不正确的是: A: MapReduce是一个分布式/并行编程模型,程序员通常只需要设计实现map和reduce函数 B: Shuffle过程是贯穿于map和reduce两个过程的 C: Hadoop MapReduce 1.0框架中TaskTracker负责集群资源的管理和调度 D: map和reduce的输入输出都是键值对
- 2
ODPS的MapReduce可以支持在一个Map后连续多个reduce()
- 3
链式MapReduce计算中,对任意一个MapReduce作业,Map和Reduce阶段可以有无限个Mapper,但Reducer只能有一个。
- 4
下面对MapReduce编程模型的描述哪些是*错误*的?( ) A: 输入数据可以自动切分并做负载均衡 B: MapReduce框架可以把Map任务启动在数据所在的机器上 C: Map或Reduce任务重启可能会影响最终的输出结果 D: 多个Map任务之间有关联