Spark多种运行模式_spark 不同模式-CSDN博客

网站介绍:文章浏览阅读1.6k次。刚接触Spark时,很希望能对它的运行方式有个直观的了解,而Spark同时支持多种运行模式,官网和书籍中对他们的区别所说不详,尤其是模式之间是否有关联、启动的JVM进程是否有区别、启动的JVM进程的作用是否都一样,等等这些都没有说明,也没有现成的资料可以查询。所以,我今天总结一下,供新手参考和学习(下述结论基于Spark2.1.0版本和hadoop2.7.3版本)1,测试或实验性质的本地运行模式 (单机)该模式被称为Local[N]模式,是用单机的多个线程来模拟Spark分布式计算,通常用来验证_spark 不同模式