大数据(078)Spark【Spark 源码分析----划分Stage】_spark源码解析-CSDN博客

网站介绍:文章浏览阅读266次。作者:博弈史密斯链接:https://www.jianshu.com/p/9f74e7f5e913来源:简书概要介绍Stage的定义,DAGScheduler划分Stage流程。Stage查看Stage定义Stage中有两个重要属性,rdd和parents,分别记录的是切分处的RDD和父Stage信息,这一点结合我后面的例子更好理解。Stage有两个子类,ShuffleMapStage、ResultStage,两者分别增加了一个重要属性信息,如下stage .._spark源码解析