在MapReduce框架中,如果需要处理的数据很小,可以将数据读取到计算节点完成Map运算和Reduce运算,节省网络传输带宽
举一反三
- Hardoop的MapReduce运算框架主要有map和reduce两个命令。
- MapReduce描述正确的是: A: Reduce函数中指定对各分块数据的处理过程 B: Map函数中指定如何对分块数据处理的中间结果进行归约 C: MapReduce通过“Map(映射)”和“Reduce(化简)”来构成运算基本单元 D: 在集群上运行Map-Reduce程序时,程序员需要处理输入的数据分块、分配和调度等问题
- MapReduce将计算任务抽象成map和reduce两个计算过程,可以简单理解为? A: “分散运算—归并结果”的过程 B: “归并结果—分散运算”的过程 C: 归并结果的过程 D: 分散运算的过程
- Shuffle连接Map和Reduce两个阶段。 Map Task将数据写到本地磁盘,Reduce Task从每个Map Task上读取一份数据。
- 大数据计算服务(MaxCompute,原ODPS)中的MapReduce是一种编程模型,用于大规模数据集的并行运算,它极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。其中,两个主要阶段Map和Reduce相互配合,可以完成对海量数据的处理。关于这两个阶段的关系,说法正确的有() A: 一个reduce的输入数据可能来自于多个map的输出 B: 一个MR处理可以不包括任何map C: 一个MR处理可以不包括任何reduce D: 一个map的输出结果可能会被分配到多个reduce上去