spark yarn 提交流程_spark中的yarn提交-CSDN博客

网站介绍:文章浏览阅读1.6k次,点赞4次,收藏9次。1.Client向RM提交请求,上传jar包到HDFS上2.RM在集群中选择一个NM,在其上启动AppMaster,在AppMaster中实例化SparkContext(Driver)3.AppMaster向RM注册应用程序并申请资源。RM监控AppMaster的状态直到AppMaster结束。4.AppMaster申请到资源后,与NM通信在Container中启动Executor进程5.Executor向driver反向注册,申请任务6.Driver对应用进行解析,最后将Task发送到Exe.._spark中的yarn提交