使用spark在yarn上运行-CSDN博客

网站介绍:文章浏览阅读325次。①使用Yarn运行spark时,需要在spark-env.sh中添加以下行export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop注意:在您的环境中检查$HADOOP_HOME / etc / hadoop是否正确.而spark-env.sh也包含HADOOP_HOME的导出.②修改/root/apps/hadoop-2.8.1/etc/hadoo..._spark在yarn上运行