如果map输出的key是整数,现已设定两个reduce task,要求每个reduce task仅处理key为奇数或者偶数的键值对,代码中主要设计( )可实现该功能。
A: 分区
B: 排序
C: 组合
D: 分组
A: 分区
B: 排序
C: 组合
D: 分组
举一反三
- Shuffle连接Map和Reduce两个阶段。 Map Task将数据写到本地磁盘,Reduce Task从每个Map Task上读取一份数据。
- MapReduce计算过程中,相同的key默认会被发送到同一个reduce task处理
- MapReduce计算过程中,相同的key默认会被发送到同一个reduce task处理。( )(1.0)
- 下列描述中符合Map/Reduce的是() A: Map是将数据映射成Key/Value再交给Reduce B: Reduce先运行,然后运行Map C: Map/Reduce是函数式的设计思想 D: Map结束后,Partitioner会将相同Key分到同一个组交给Reduce进程
- 智慧职教: reduce()函数会将map()函数输出的键值对作为输入,把相同key值的value进行汇总,输出新的键值对( )