网站介绍:文章浏览阅读3.6k次,点赞6次,收藏11次。环境:代码图基于Spark 2.2.1 工具:OmniGraffe最近想完整梳理一下作业提交流程,通过自己的理解画图来学习Spark。1) 首先了解作业提交后RDD的流动情况如上图,以RDD构建的DAG给DAGScheduler进行stage划分,DAGScheduler负责stage层面的提交和失败处理。然后提交taskSet给TaskScheduler进行处理,TaskScheduler_spark作业提交流程图
- 链接地址:https://blog.csdn.net/xwc35047/article/details/78732738
- 链接标题:Spark作业提交执行流程源码图_spark作业提交流程图-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:110
- 网站标签:spark作业提交流程图