网站介绍:文章浏览阅读549次。Spark master节点HA配置1、介绍Spark HA配置需要借助于Zookeeper实现,因此需要先搭建ZooKeeper集群。2、配置2.1 修改所有节点的spark-evn.sh文件在spark-env.sh文件添加如下环境变量:#需要将该条目注释掉#export SPARK_MASTER_IP=master1 #导入export SPARK_DAEMON_JAVA..._spark 参数配置,指定 spark slave 节点
- 链接地址:https://blog.csdn.net/weixin_30485799/article/details/95029395
- 链接标题:Spark master节点HA配置-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:9406
- 网站标签:spark 参数配置 指定 spark slave 节点