网站介绍:文章浏览阅读2.5w次。因为spark文档中只介绍了两种用脚本提交到yarn的例子,并没有介绍如何通过程序提交yarn,但是我们的需求需要这样。网上很难找到例子,经过几天摸索,终于用程序提交到yarn成功,下面总结一下。先介绍官网提交的例子,我用的是spark 0.9.0 hadoop2.2.0一.使用脚本提交1.使用spark脚本提交到yarn,首先需要将spark所在的主机和hadoop集群之_spark写的scala项目打成jar上传yarn实例
- 链接地址:https://blog.csdn.net/xiao_jun_0820/article/details/43230225
- 链接标题:spark用程序提交任务到yarn_spark写的scala项目打成jar上传yarn实例-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:4786
- 网站标签:spark写的scala项目打成jar上传yarn实例