在Shuffle阶段,可以根据业务需要直接对Map结果排序,或将排序放在Reduce阶段完成
举一反三
- MapReduce的三大阶段即是Map阶段→shuffle阶段→reduce阶段。( )
- 如果对一系列数据进行排序,可以把这些数据作为map阶段的输出键,在Reduce中定义如何排序。
- Shuffle过程是指对Map输出结果进行分区、排序、合并等处理并交给Reduce的过程。( )
- 在MapReduce中,________阶段,Reducer执行reducetask,将最后结果写入HDFS。 A: Shuffle B: Map C: Reduce D: Sort
- MapReduce的哪个阶段由系统自动完成? A: Map阶段 B: Reduce阶段 C: Shuffle和Combine阶段 D: Finalize阶段