Spark RDD采用了惰性调用,在RDD的执行过程中,真正的计算发生在RDD的“行动”操作,对于“行动”操作之前的所有“转换”操作,仅记录下操作应用的一些基础数据集以及RDD生成的轨迹,并不会出发真正的操作。
举一反三
- Spark RDD提供了一组丰富的操作以支持常见的数据运算,“行动”(Action)() A: 接受RDD并返回RDD,指定了RDD之间的相互依赖关系。 B: 接受RDD但是返回非RDD(即输出一个值或结果),执行计算并指定输出的形式。 C: 并不会触发真正的计算操作,这是因为RDD采用了惰性调用机制。 D: 包括诸如map、filter、groupby、join等。
- Spark中RDD的转换操作是______ 求值的,这意味着在被调用行为操作前,Spark不会真正地开始计算。
- Spark RDD提供了一组丰富的操作以支持常见的数据运算,“转换”(Transformation)() A: 包括诸如count、collect等操作。 B: 可以触发真正的计算,这是惰性调用导致的。 C: 执行计算并指定输出的形式。 D: 指定RDD之间的相互依赖关系,即接受RDD并返回RDD。
- Spark的RDD的转换会触发Spark计算操作。
- RDD 表示只读的分区的数据集,对 RDD 进行改动,只能通过 RDD 的转换操作。( )