也是一个小型的reducer,主要作用是减少输出到reduce的个数,减少reducer的输入,提高reducer的执行效率
Reduce
举一反三
- ()也是一个小型的reducer,主要作用是减少输出到reduce的个数,减少reducer的输入,提高reducer的执行效率。 A: Combiner B: Reduce C: Map D: Shuffle
- Reducer是所有用户定制Reducer类的基础,它的输入是key和一个value值,同时还有Reducer的上下文。Reduce的结果由Reducer.Context的write方法输出到文件中。
- MapReduce确保每个reducer的输入都是按键排序的。系统执行排序的过程即将map输出作为输入传给reducer称为______ 。
- ODPSMR可以通过控制Reducer的个数来进行调优,以下哪些方法可以帮用户调节Reducer的个数() A: 可以通过调整Mapper的个数间接的影响Reducer的个数(Reducer的个数默认为Mapper个数的1/4) B: 在编程的时候(以Java为例),初始化Reducer的方法里,可手工指定Reducer个数 C: 可以通过setNumReducerTasks来设置 D: 可以通过addReducer随意增加Reducer的个数
- 有一个mapper为每个键生成一个整数值,下面是reduce操作。Reducer A :输出整数值集合的总和Reducer B :输出值集合中的最大值Reducer C :输出值集合的平均值Reducer D :输出集合中最大值与最小值之差这些reduce操作中,哪个可被安全地用作combiner? A: 全部 B: 都不可以 C: A和B D: A、B和D E: C和D
内容
- 0
Combiner和Reducer类都指向继承于Reducer的内部类( )。 A: Hdfs B: JobTracker C: Reduce D: TaskTracker
- 1
下面哪个不属于Reducer阶段 ( ) A: Shuffle B: Sort C: Map D: Reduce
- 2
下列关于Map/Reduce计算流程叙述不正确的一项为: A: Mapper读取分派给它的输出Split,并生成相应的本地缓存。 B: Mapper执行计算处理任务,将中间结果输出保存在本地缓存。 C: Application Master调度Reducer读取Mapper的中间输出文件,执行Reduce任务。 D: Reducer将最后结果写入输出文件保存到HDFS。
- 3
在MapReduce中,下面哪个会将输入键值对处理成中间键值对( ) A: Mapper B: Reducer C: Mapper和Reducer
- 4
链式MapReduce计算中,对任意一个MapReduce作业,Map和Reduce阶段可以有无限个Mapper,但Reducer只能有一个。