spark用程序提交任务到yarn_spark写的scala项目打成jar上传yarn实例-CSDN博客

网站介绍:文章浏览阅读2.5w次。因为spark文档中只介绍了两种用脚本提交到yarn的例子,并没有介绍如何通过程序提交yarn,但是我们的需求需要这样。网上很难找到例子,经过几天摸索,终于用程序提交到yarn成功,下面总结一下。先介绍官网提交的例子,我用的是spark 0.9.0 hadoop2.2.0一.使用脚本提交1.使用spark脚本提交到yarn,首先需要将spark所在的主机和hadoop集群之_spark写的scala项目打成jar上传yarn实例