网站介绍:文章浏览阅读2.5k次。SparkContext的初始化,包括事件总线(LiveListenerBus),UI界面,心跳,JobProcessListner,ExecutorAllocationManager(资源动态分配管理)等等等等,总之就是有很多东西,这里我只选取几个自认为是核心的东西介绍一下:DAGScheduler: 负责创建Job,RDD的Stage划分以及提交,还有一些监控数据 TaskSchedul..._初始化sparkcontext
- 链接地址:https://blog.csdn.net/zc19921215/article/details/83934175
- 链接标题:SparkContext初始化流程_初始化sparkcontext-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:4105
- 网站标签:初始化sparkcontext