Spark on Yarn详解-CSDN博客

网站介绍:文章浏览阅读4.5k次,点赞2次,收藏30次。Spark on Yarn详解Spark 可以跑在很多集群上,比如跑在local上,跑在Standalone上,跑在Apache Mesos上,跑在Hadoop YARN上等等。不管你Spark跑在什么上面,它的代码都是一样的,区别只是–master的时候不一样。其中Spark on YARN是工作中或生产上用的非常多的一种运行模式。今天主要对Spark on Yarn 这种方式做讲解。yarn模式两种提交任务方式Spark可以和Yarn整合,将Application提交到Yarn上运行,Yarn有两_spark on yarn