以下关于MapReduce计算框架描述正确的是?
A: JobTracker:Master节点,只有一个,管理所有作业,作业/任务的监控、错误处理等;将任务分解成一系列任务,并分派给TaskTracker。
B: TaskTracker:Slave节点,运行Map Task和Reduce Task;并与JobTracker交互,汇报任务状态。
C: Map Task:解析每条数据记录,传递给用户编写的map(),并执行,将输出结果写入本地磁盘(如果为map-only作业,直接写入HDFS)。
D: Reducer Task:从Map Task的执行结果中,远程读取输入数据,对数据进行排序,将数据按照分组传递给用户编写的reduce函数执行。
A: JobTracker:Master节点,只有一个,管理所有作业,作业/任务的监控、错误处理等;将任务分解成一系列任务,并分派给TaskTracker。
B: TaskTracker:Slave节点,运行Map Task和Reduce Task;并与JobTracker交互,汇报任务状态。
C: Map Task:解析每条数据记录,传递给用户编写的map(),并执行,将输出结果写入本地磁盘(如果为map-only作业,直接写入HDFS)。
D: Reducer Task:从Map Task的执行结果中,远程读取输入数据,对数据进行排序,将数据按照分组传递给用户编写的reduce函数执行。
举一反三
- Shuffle连接Map和Reduce两个阶段。 Map Task将数据写到本地磁盘,Reduce Task从每个Map Task上读取一份数据。
- 关于MapReduce1.0的体系结构的描述,下列说法错误的是? A: Task 分为Map Task 和Reduce Task 两种,分别由JobTracker 和TaskTracker 启动 B: slot 分为Map slot 和Reduce slot 两种,分别供MapTask 和Reduce Task 使用 C: TaskTracker 使用“slot”等量划分本节点上的资源量(CPU、内存等) D: TaskTracker 会周期性接收JobTracker 发送过来的命令并执行相应的操作(如启动新任务、杀死任务等)
- 关于MapReduce1.0的体系结构的描述,下列说法错误的是?() A: Task<br/>分为Map<br/>Task 和Reduce<br/>Task 两种,分别由JobTracker<br/>和TaskTracker<br/>启动 B: slot<br/>分为Map<br/>slot 和Reduce<br/>slot 两种,分别供MapTask<br/>和Reduce<br/>Task 使用 C: TaskTracker<br/>使用“slot”等量划分本节点上的资源量(CPU、内存等) D: TaskTracker<br/>会周期性接收JobTracker<br/>发送过来的命令并执行相应的操作(如启动新任务、杀死任务等)
- 下列关于Map/Reduce计算流程叙述不正确的一项为: A: Mapper读取分派给它的输出Split,并生成相应的本地缓存。 B: Mapper执行计算处理任务,将中间结果输出保存在本地缓存。 C: Application Master调度Reducer读取Mapper的中间输出文件,执行Reduce任务。 D: Reducer将最后结果写入输出文件保存到HDFS。
- 中国大学MOOC: 1、有人改进了MapReduce的架构,Map函数的输出不写入本地磁盘,而是直接(通过网络)传递给Reduce任务,reduce任务收到所有Map的输入后,再开始Reduce的处理。关于这种改动,以下说法正确的是( )。