与Hadoop MapReduce计算框架相比,Spark所采用的Executor的优点包括()
A: Executor利用多线程来执行具体的任务,减少了任务的启动开销,而Hadoop MapReduce采用的是进程模型。
B: Executor利用多进程来执行具体的任务,减少了任务的启动开销,而Hadoop MapReduce采用的是线程模型。
C: Executor中有一个BlockManager存储模块,会将内存和磁盘共同作为存储设备,将最终结果缓存到该存储系统中,可以提高读写IO性能。
D: Executor中有一个BlockManager存储模块,会将内存和磁盘共同作为存储设备,将中间结果缓存到该存储系统中,可以提高读写IO性能。
A: Executor利用多线程来执行具体的任务,减少了任务的启动开销,而Hadoop MapReduce采用的是进程模型。
B: Executor利用多进程来执行具体的任务,减少了任务的启动开销,而Hadoop MapReduce采用的是线程模型。
C: Executor中有一个BlockManager存储模块,会将内存和磁盘共同作为存储设备,将最终结果缓存到该存储系统中,可以提高读写IO性能。
D: Executor中有一个BlockManager存储模块,会将内存和磁盘共同作为存储设备,将中间结果缓存到该存储系统中,可以提高读写IO性能。
举一反三
- 与Hadoop MapReduce计算框架相比,Spark所采用的Executor具有哪些优点? A: 利用多线程来执行具体的任务,减少任务的启动开销 B: Executor中有一个BlockManager存储模块,有效减少IO开销 C: 提供了一种高度受限的共享内存模型 D: 不同场景之间输入输出数据能做到无缝共享
- 与Hadoop对比,Spark的优点包括() A: Spark的计算结果放在内存中,节省了磁盘存储空间。 B: Spark的计算模式也属于MapReduce,但编程模型比MapReduce更灵活。 C: Spark提供了内存计算,中间结果放到内存中,提高了迭代运算效率。 D: Spark基于DAG的任务调度执行机制,性能优于MapReduce的迭代执行机制。
- 在Spark中,关于各种概念之间的相互关系的描述正确的有() A: 一个应用由一个任务控制点(Driver)和若干个作业(Job)构成。 B: 一个作业由多个阶段(Stage)构成。 C: 一个阶段由多个任务组成。 D: 执行一个应用时,任务控制节点会向集群管理器申请资源,启动Executor,并向Executor发送应用程序代码和文件,然后在Executor执行任务。 E: Executor上的任务执行完成后,执行结果会返回给任务控制节点,或者写入到HDFS或者其他数据库中。
- Spark相对于MapReduce的优点包括:( ) A: Spark的计算模式也属于MapReduce,但不局限于Map和Reduce操作,还提供了多种数据集操作类型,编程模型比MapReduce更灵活 B: Spark提供了内存计算,中间结果直接放到内存中,带来了更高的迭代运算效率 C: Spark同时提供了存储功能,而MapReduce不支持存储 D: Spark基于DAG的任务调度执行机制,要优于MapReduce的迭代执行机制
- 下列对hadoop和spark的描述错误的是 A: hadoop的编程范式:map+reduce,spark的编程范式是DAG:transformation+action B: hadoop计算中间结果落到磁盘,io及序列化、反序列化代价大,spark在内存中维护存取速度比磁盘高几个数据级 C: hadoop的Task以进程的方式维护需要数秒时间才能启动任务,spark的任务以线程的方式维护对于小数据集读取能够达到亚秒级的延迟 D: hadoop和spark都是对磁盘进行数据的读写