网站介绍：文章浏览阅读1.3k次。1、RDD之间的依赖类型窄依赖(NorrawDependency)父RDD的一个分区的数据,是给到子rdd的一个分区使用,这种依赖关系就是窄依赖。窄依赖指的是父RDD的一个分区,被子RDD的一个分区所依赖(一对一)。map,flatMap,filter 都是窄依赖,union 也是窄依赖。分为宽依赖(WideDependency)父RDD的一个分区的数据,是给到子rdd的多个分区使用,那么就是宽依赖。一旦有宽依赖,在这里会发生数据的shuffle,会切分stage(阶段)。sor_spark得rdd 阶段dag
- 链接地址：https://blog.csdn.net/qq_42456324/article/details/124480968
- 链接标题：Spark中RDD的依赖和DAG的生成_spark得rdd 阶段dag-CSDN博客
- 所属网站：blog.csdn.net
- 被收藏次数：6758
- 网站标签：spark得rdd 阶段dag
