网站介绍:文章浏览阅读308次。1.Spark on standAlone 模式(Client)1.1 执行流程图1.2 执行过程详解:0.当需要提交一个任务到spark集群中时,spark-submit脚本会执行一个叫SparkSubmit的类,然后通过反射调用 我们设置的参数 -- class中的main方法,然后在main方法中new SparkContext1. 将提交的信息发送给Master2. master根据提交的applicatition的资源信息,先根据内存过滤出符合条件的Work...
- 链接地址:https://blog.csdn.net/Fresh_man888/article/details/110913584
- 链接标题:Spark-Core之Spark on standAlone 模式的执行过程详解-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:365
- 网站标签:Spark-Core之Spark on standAlone 模式的执行过程详解