下列关于HDFS为存储MapReduce并行切分和处理的数据做的设计,错误的是( )。
A: FSDataInputStream扩展了DataInputStream以支持随机读
B: 为实现细粒度并行,输入分片(InputSplit)应该越小越好
C: 一台机器可能被指派从输入文件的任意位置开始处理一个分片
D: 输入分片是一种记录的逻辑划分,而数据块是对输入数据的物理分割
A: FSDataInputStream扩展了DataInputStream以支持随机读
B: 为实现细粒度并行,输入分片(InputSplit)应该越小越好
C: 一台机器可能被指派从输入文件的任意位置开始处理一个分片
D: 输入分片是一种记录的逻辑划分,而数据块是对输入数据的物理分割
举一反三
- 下列关于HDFS为存储MapReduce并行切分和处理的数据做的设计,错误的是(). A: FSDataInputStream扩展了DataInputStream以支持随机读 B: 为实现细粒度并行,输入分片应该越小越好 C: 一台机器可能被指派从输入文件的任意位置开始处理一个分片 D: 输入分片是一种记录的逻辑划分,而HDFS数据块是对输入数据的物理分割
- Split(分片):在进行map计算之前, MapReduce会根据输入文件计算输入分片(input split),每个输入分片(input split)针对一个______ 任务,输入分片(input split)存储的并非数据本身,而是一个分片长度和一个记录数据的位置的数组。
- MapReduce采用“分而治之”策略,一个存储在分布式文件系统中的大规模数据集,会被切分成许多独立的分片,这些分片可以被多个Map任务并行处理
- 中国大学MOOC: MapReduce采用 策略,一个存储在分布式文件系统中的大规模数据集,会被切分成许多独立的分片,这些分片可以被多个Map任务并行处理。
- 下面哪个针对MapReduce的说法是错误的? A: MapReduce是支持分布式机器学习算法的计算框架。 B: MapReduce的运行需要基础的分布式存储系统HDFS支持。 C: MapReduce可以对分布式的大数据分片进行并行的实时分析。 D: MapReduce上的数据分析属于数据并行计算类型。