Spark作业提交执行流程源码图_spark作业提交流程图-CSDN博客

网站介绍:文章浏览阅读3.6k次,点赞6次,收藏11次。环境:代码图基于Spark 2.2.1 工具:OmniGraffe最近想完整梳理一下作业提交流程,通过自己的理解画图来学习Spark。1) 首先了解作业提交后RDD的流动情况如上图,以RDD构建的DAG给DAGScheduler进行stage划分,DAGScheduler负责stage层面的提交和失败处理。然后提交taskSet给TaskScheduler进行处理,TaskScheduler_spark作业提交流程图