网站介绍:文章浏览阅读1.6k次,点赞4次,收藏9次。1.Client向RM提交请求,上传jar包到HDFS上2.RM在集群中选择一个NM,在其上启动AppMaster,在AppMaster中实例化SparkContext(Driver)3.AppMaster向RM注册应用程序并申请资源。RM监控AppMaster的状态直到AppMaster结束。4.AppMaster申请到资源后,与NM通信在Container中启动Executor进程5.Executor向driver反向注册,申请任务6.Driver对应用进行解析,最后将Task发送到Exe.._spark中的yarn提交
- 链接地址:https://blog.csdn.net/yidan7063/article/details/110918281
- 链接标题:spark yarn 提交流程_spark中的yarn提交-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:2584
- 网站标签:spark中的yarn提交