网站介绍:文章浏览阅读549次。RDD概念:RDD 定义为弹性分布式数据集,包含了只读的、分区的、分布式计算的概念;RDD是个类1、一个数据分区的列表(hdfs的所有数据块的位置信息,保存在RDD类成员变量Array中)2、保存了数据块上面的计算方法,这个计算方法会应用到每一个数据块3、一个对其他RDD的依赖,是一个集合,spark就是通过这种依赖关系,像流水一样处理我们的数据 当分区的数据计算失败,只需要根据流..._rdd是hdfs中的概念吗
- 链接地址:https://blog.csdn.net/weixin_42201566/article/details/86175274
- 链接标题:RDD相关概念_rdd是hdfs中的概念吗-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:3889
- 网站标签:rdd是hdfs中的概念吗