Spark使用Yarn模式解决Jar乱飞情况_spark yarm模式运行jar-CSDN博客

网站介绍:文章浏览阅读244次。1、在本地创建zip文件# 在spark的jars目录下zip spark.zip ./*2、HDFS上创建存放spark jar目录hdfs dfs -mkdir -p /spark-yarn/jars3、将$SPARK_HOME/jars下的spark.zip包上传至刚健的HDFS路径[hadoop@hadoop jars]$ hdfs dfs -put ./spark.zip..._spark yarm模式运行jar