spark on yarn配置_使用spark on yarn 的模式提交$spark_home/examples/jars/spa-CSDN博客

网站介绍:文章浏览阅读1.6k次。在安装好spark后修改spark-env.sh 若没有 将模板文件改名为此名称在spark安装目录下的conf找到spark-env.sh添加HADOOP_HOME和HADOOP_CONF_DIR让其加载yarn-site.xml文件配置修改spark-defaults.conf同在conf文件夹下找到spark-defaults.conf.template文件改名spark-defaults.conf添加如下然后将spark安装目录下的jars中的文件 put到hdfs上图所指_使用spark on yarn 的模式提交$spark_home/examples/jars/spark-examples_2.11-2.