• 2022-06-19
    大数据计算服务(MaxCompute,原ODPS)中的MapReduce是一种编程模型,用于大规模数据集的并行运算,它极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。其中,两个主要阶段Map和Reduce相互配合,可以完成对海量数据的处理。关于这两个阶段的关系,说法正确的有()
    A: 一个reduce的输入数据可能来自于多个map的输出
    B: 一个MR处理可以不包括任何map
    C: 一个MR处理可以不包括任何reduce
    D: 一个map的输出结果可能会被分配到多个reduce上去
  • A,C

    内容

    • 0

      下面哪一项是MapReduce编程需要考虑的问题( )。 A: 数据输入 B: Map阶段处理逻辑 C: 数据输出 D: Reduce阶段处理逻辑

    • 1

      以下关于MapReduce的说法不正确的是: A: MapReduce是一个分布式/并行编程模型,程序员通常只需要设计实现map和reduce函数 B: Shuffle过程是贯穿于map和reduce两个过程的 C: Hadoop MapReduce 1.0框架中TaskTracker负责集群资源的管理和调度 D: map和reduce的输入输出都是键值对

    • 2

      ODPS的MapReduce可以支持在一个Map后连续多个reduce()

    • 3

      链式MapReduce计算中,对任意一个MapReduce作业,Map和Reduce阶段可以有无限个Mapper,但Reducer只能有一个。

    • 4

      下面对MapReduce编程模型的描述哪些是*错误*的?( ) A: 输入数据可以自动切分并做负载均衡 B: MapReduce框架可以把Map任务启动在数据所在的机器上 C: Map或Reduce任务重启可能会影响最终的输出结果 D: 多个Map任务之间有关联