为了减少Map到Reduce的数据传输量,我需要对传给reduce的数据进行合并,此时我们应该选择哪个组件?
A: A:RecordWriter
B: B:Combiner
C: C:Partitioner
D: D:InputFormat
A: A:RecordWriter
B: B:Combiner
C: C:Partitioner
D: D:InputFormat
举一反三
- Reduce阶段做的是 A: OutputFormat B: InputFormat C: Reducer D: Mapper E: Combiner F: Partitioner
- 下列描述中符合Map/Reduce的是() A: Map是将数据映射成Key/Value再交给Reduce B: Reduce先运行,然后运行Map C: Map/Reduce是函数式的设计思想 D: Map结束后,Partitioner会将相同Key分到同一个组交给Reduce进程
- ()也是一个小型的reducer,主要作用是减少输出到reduce的个数,减少reducer的输入,提高reducer的执行效率。 A: Combiner B: Reduce C: Map D: Shuffle
- Map负责将数据打散,Reduce负责将数据进行聚集。
- MapReduce框架中,在Map和Reduce之间的combiner的作用是( ) A: 对中间格式进行压缩 B: 对中间结果进行混洗 C: 对Map的输出结果排序 D: 将中间结果中同一个key的数据合并