Spark Standalone环境基本原理_spark standalone运行原理-CSDN博客

网站介绍:文章浏览阅读476次。一、介绍Standalone模式是Spark自带的一种集群模式,不同于前面本地模式启动多个进程来模拟集群的环境,Standalone模式是真实地在多个机器之间搭建Spark集群的环境,完全可以利用该模式搭建多机器集群,用于实际的大数据处理。二、本质Standalone集群使用了分布式计算中的master-slave模型,master是集群中含有Master进程的节点,slave是集群中的Worker节点含有Executor进程。三、成员角色主节点Master:管理整个集群资源,接收提交应用,分配_spark standalone运行原理