以下关于MapReduce计算框架描述正确的是?
A: JobTracker:Master节点,只有一个,管理所有作业,作业/任务的监控、错误处理等;将任务分解成一系列任务,并分派给TaskTracker。
B: TaskTracker:Slave节点,运行Map Task和Reduce Task;并与JobTracker交互,汇报任务状态。
C: Map Task:解析每条数据记录,传递给用户编写的map(),并执行,将输出结果写入本地磁盘(如果为map-only作业,直接写入HDFS)。
D: Reducer Task:从Map Task的执行结果中,远程读取输入数据,对数据进行排序,将数据按照分组传递给用户编写的reduce函数执行。
A: JobTracker:Master节点,只有一个,管理所有作业,作业/任务的监控、错误处理等;将任务分解成一系列任务,并分派给TaskTracker。
B: TaskTracker:Slave节点,运行Map Task和Reduce Task;并与JobTracker交互,汇报任务状态。
C: Map Task:解析每条数据记录,传递给用户编写的map(),并执行,将输出结果写入本地磁盘(如果为map-only作业,直接写入HDFS)。
D: Reducer Task:从Map Task的执行结果中,远程读取输入数据,对数据进行排序,将数据按照分组传递给用户编写的reduce函数执行。
A,B,C,D
举一反三
- Shuffle连接Map和Reduce两个阶段。 Map Task将数据写到本地磁盘,Reduce Task从每个Map Task上读取一份数据。
- 关于MapReduce1.0的体系结构的描述,下列说法错误的是? A: Task 分为Map Task 和Reduce Task 两种,分别由JobTracker 和TaskTracker 启动 B: slot 分为Map slot 和Reduce slot 两种,分别供MapTask 和Reduce Task 使用 C: TaskTracker 使用“slot”等量划分本节点上的资源量(CPU、内存等) D: TaskTracker 会周期性接收JobTracker 发送过来的命令并执行相应的操作(如启动新任务、杀死任务等)
- 关于MapReduce1.0的体系结构的描述,下列说法错误的是?() A: Task<br/>分为Map<br/>Task 和Reduce<br/>Task 两种,分别由JobTracker<br/>和TaskTracker<br/>启动 B: slot<br/>分为Map<br/>slot 和Reduce<br/>slot 两种,分别供MapTask<br/>和Reduce<br/>Task 使用 C: TaskTracker<br/>使用“slot”等量划分本节点上的资源量(CPU、内存等) D: TaskTracker<br/>会周期性接收JobTracker<br/>发送过来的命令并执行相应的操作(如启动新任务、杀死任务等)
- 下列关于Map/Reduce计算流程叙述不正确的一项为: A: Mapper读取分派给它的输出Split,并生成相应的本地缓存。 B: Mapper执行计算处理任务,将中间结果输出保存在本地缓存。 C: Application Master调度Reducer读取Mapper的中间输出文件,执行Reduce任务。 D: Reducer将最后结果写入输出文件保存到HDFS。
- 中国大学MOOC: 1、有人改进了MapReduce的架构,Map函数的输出不写入本地磁盘,而是直接(通过网络)传递给Reduce任务,reduce任务收到所有Map的输入后,再开始Reduce的处理。关于这种改动,以下说法正确的是( )。
内容
- 0
下面关于MapReduce工作流程的描述,正确的是( )。 A: 一个大的MapReduce作业,会被拆分成许多个Map任务在多台机器上并行执行 B: 每个Map任务通常运行在数据存储的节点上 C: 当Map任务结束后,会生成以<;key,value-list>;形式表示的许多中间结果 D: Reduce任务会对中间结果进行汇总计算得到最后结果
- 1
关于 MapReduce的描述错误的是() A: MapReduce框架会先排序 map任务的输出 B: 通常,作业的输入输出都会被存储在文件系统中 C: 通常计算节点和存储节点是同一节点 D: 一个 Task 通常会把输入集切分成若干独立的数据块
- 2
在MapReduce中,________阶段,Reducer执行reducetask,将最后结果写入HDFS。 A: Shuffle B: Map C: Reduce D: Sort
- 3
以下关于MapReduce执行过程的描述,正确的是()。 A: MapReduce执行过程中,Map任务输入文件保存在分布式文件系统中。 B: MapReduce执行过程中,Map任务处理得到的中间结果保存在本地存储中。 C: MapReduce执行过程中,Reduce任务处理结果都保存在本地存储中。 D: MapReduce执行过程中,只有当Map处理全部结束后,Reduce过程才能开始。
- 4
Hadoop MapReduce计算的流程是________。 A: Map任务—Shuffle—Reduce任务 B: Map任务—Reduce任务—Shuffle C: Reduce任务—Map任务—Shuffle D: Shuffle—Map任务—Reduce任务