网站介绍:文章浏览阅读2.9w次,点赞41次,收藏305次。Spark应用程序以进程集合为单位在分布式集群上运行,通过driver程序的main方法创建的SparkContext对象与集群交互。1、Spark通过SparkContext向Cluster manager(资源管理器)申请所需执行的资源(cpu、内存等)2、Cluster manager分配应用程序执行需要的资源,在Worker节点上创建Executor3、SparkContext..._spark运行原理
- 链接地址:https://blog.csdn.net/lovechendongxing/article/details/81746988
- 链接标题:Spark运行原理【史上最详细】-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:3631
- 网站标签:spark运行原理