如果一个RDD在计算过程中出错,可以直接通过它的父RDD重新计算得到,这是Spark基于 的容错机制。
举一反三
- spark Streaming容错机制是指RDD中任意的partition出错,都可以根据其父RDD重新计算生成,如果父RDD丢失,则需要去磁盘中查找原始数据。 A: 正确 B: 错误
- SparkStreaming容错机制是指RDD中任意的Partition出错,都可以根据其父RDD重新计算生成,如果父RDD丢失,则需要去磁盘中查找原始数据。
- 窄依赖表现为( )。(注意:本题为多选题) A: 一个父RDD对应一个子RDD B: 一个父RDD对应多个子RDD C: 多个父RDD对应一个子RDD D: 多个父RDD对应多个子RDD
- ______ 是构建在 Spark上的图计算模型,它利用spark框架提供的内存级存RDD、DAG和基于数据依赖的容错等特性,实现高效健壮的图计算框架
- RDD操作进行的转换指的是() A: 可以通过Scala集合或者Hadoop构造新的RDD B: 通过已有的RDD产生新的RDD C: 通过RDD计算得到一个或一组值 D: 进行countcollect等操作