基于Zookeeper的Spark HA配置说明_spark 使用zookeeper 配置ha模式-CSDN博客

网站介绍:文章浏览阅读4.6k次。默认情况下在Spark standalone集群中进行计算时,由于是RDD的计算模型,所以可以认为worker 已经是有HA特性的了,但是负责资源调度的Master节点有可能出现单点故障。所以为了保证环境的稳定,还是需要配置HA功能。官方文档中提供了两种HA的机制 基于Zookeeper:利用ZooKeeper来提供主节点选举和集群状态的存储,可以在集群中运行多个连接到同一个Zoo_spark 使用zookeeper 配置ha模式