ODPSMR可以通过控制Reducer的个数来进行调优,以下哪些方法可以帮用户调节Reducer的个数()
A: 可以通过调整Mapper的个数间接的影响Reducer的个数(Reducer的个数默认为Mapper个数的1/4)
B: 在编程的时候(以Java为例),初始化Reducer的方法里,可手工指定Reducer个数
C: 可以通过setNumReducerTasks来设置
D: 可以通过addReducer随意增加Reducer的个数
A: 可以通过调整Mapper的个数间接的影响Reducer的个数(Reducer的个数默认为Mapper个数的1/4)
B: 在编程的时候(以Java为例),初始化Reducer的方法里,可手工指定Reducer个数
C: 可以通过setNumReducerTasks来设置
D: 可以通过addReducer随意增加Reducer的个数
A,B,C
举一反三
- 也是一个小型的reducer,主要作用是减少输出到reduce的个数,减少reducer的输入,提高reducer的执行效率
- ()也是一个小型的reducer,主要作用是减少输出到reduce的个数,减少reducer的输入,提高reducer的执行效率。 A: Combiner B: Reduce C: Map D: Shuffle
- 你必须为MapReduce作业指定哪些内容? A: mapper和reducer类 B: mapper、reducer和Combiner类 C: mapper、reducer、Combiner和Partitioner类 D: 什么都不需要,所有类都默认实现
- MapReduce作业的Reducer的个数应该在配置文件中设置,不可以在代码中修改。
- 在MapReduce中,下面哪个会将输入键值对处理成中间键值对( ) A: Mapper B: Reducer C: Mapper和Reducer
内容
- 0
在MapReduce中,下面哪个会将输入键值对处理成中间键值对( )。 A: Mapper和Reducer B: Mapper C: MRAppMaster D: Reducer
- 1
通过自定义partition过程,用户可以自定义每个key将被分配到的reducer
- 2
MapReduce应用程序通常会通过map和 来实现Mapper和Reducer接口,二者组成作业的核心。
- 3
用单词共现矩阵解决大规模计数问题的基本方法是()。 A: Mapper生成部分计数 B: Reducer生成部分计数 C: Reducer聚合部分计数 D: Mapper聚合部分计数
- 4
用户可以通过实现自定义的()来控制哪个key被分配给哪个 Reducer。 A: Partitioner B: InputFormat C: JobController D: Jobtracker