请对YARN和MapReduce1.0框架进行优劣势对比分析。
(1)大大减少了承担中心服务功能的ResourceManager的资源消耗。MapReduce1.0中的JobTracker需要同时承担资源管理、任务调度和任务监控等三大功能,而YARN中的ResourceManager只需要负责资源管理,需要消耗大量资源的任务调度和监控重启工作则交由ApplicationMaster来完成。由于每个作业都有与之关联的独立的ApplicationMaster,所以,系统中存在多个作业时,就会同时存在多个ApplicationMaster,这就实现了监控任务的分布化,不再像MapReduce1.0那样监控任务只集中在一个JobTracker上。(2)MapReduce1.0既是一个计算框架,又是一个资源管理调度框架,但是只能支持MapReduce编程模型。而YARN则是一个纯粹的资源调度管理框架,在它上面可以运行包括MapReduce在内的不同类型的计算框架,默认类型是MapReduce。因为,YARN中的ApplicationMaster是可变更的,针对不同的计算框架,用户可以采用任何编程语言自己编写服务于该计算框架的ApplicationMaster。比如,可以编写一个面向MapReduce计算框架的A.pplicationMaster,从而使得MapReduce计算框架可以运行在YARN框架之上。同理,还可以编写面向Spark、Storm等计算框架的ApplicationMaster,从而使得Spark、Storm等计算框架也可以运行在YARN框架之上。(3)YARN中的资源管理比MapReduce1.0更加高效。YARN采用容器为单位进行资源管理和分配,而不是以槽为单位,避免了MapReduce1.0中槽的闲置浪费情况,大大提高了资源的利用率。
举一反三
- Hadoop框架最核心的设计是()。 A: HDFS和MapReduce B: HDFS和YARN C: MapReduce和YARN D: NameNode和DataNode
- 启动Hadoop集群,其实是要启动内部的哪两个集群框架 A: HDFS集群和YARN集群框架 B: HDFS集群和MapReduce集群框架 C: YARN集群和MapReduce集群框架 D: Hadoop集群和HDFS集群框架
- YARN相对于MapReduce1.0有哪些优势?
- 请描述在YARN框架中执行一个MapReduce程序时,从提交到完成需要经历的具体步骤。
- 以下哪个框架是Hadoop作业调度和资源管理框架 A: sqoop B: hdfs C: yarn D: MapReduce
内容
- 0
HDFS、MapReduce和YARN作为Hadoop的三大主要核心框架,其中用于解决海量数据存储的是()。 A: HDFS B: MapReduce C: YARN D: 以上都可以
- 1
对新一代资源管理调度框架YARN的理解正确的是? YARN可以实现“一个集群多个框架”,即在一个集群上部署一个统一的资源调度管理框架|MapReduce2.0是运行在YARN之上的计算框架,由YARN来为MapReduce提供资源管理调度服务|YARN既是资源管理调度框架,也是一个计算框架|YARN的体系结构包含三个组件
- 2
YARN是一个存粹的资源管理框架,其上支持MapReduce等不同计算框架。
- 3
Hadoop的两大核心组件是()(2.0分)A.()HDFS和Mapreduce()B.()yarn和Mapreduce()C.()HDFS和yarn()D.()yarn和Hive
- 4
【单选题】Hadoop1.0 中, Hadoop 内核的主要组成是() A. HDFS 和 MapReduce B. HDFS 和 Yarn C. Yarn D. MapReduce 和 Yarn