提交PySpark应用程序以集群模式在YARN上触发_user application exited with status 1-CSDN博客

网站介绍:文章浏览阅读2k次。我正在尝试测试为我工作的团队构建的大数据平台。它在YARN上运行时具有火花。是否可以创建PySpark应用并将其提交到YARN集群上?我能够成功提交示例SparkPi jar文件,它在YARN stdout日志中返回输出。这是我要测试的PySpark代码;<span style="color:#333333"><code>from pyspark import SparkConffrom pyspark import SparkContextHDFS_MAST_user application exited with status 1