Spark 运行环境_spark环境-CSDN博客

网站介绍:文章浏览阅读191次。Spark 运行环境Spark 作为一个数据处理框架和计算引擎,被设计在所有常见的集群环境中运行, 在国内工作中主流的环境为 Yarn,不过逐渐容器式环境也慢慢流行起来。接下来,我们就分别看看不同环境下 Spark 的运行1 Local 模式所谓的 Local 模式,就是不需要其他任何节点资源就可以在本地执行 Spark 代码的环境,一般用于教学,调试,演示等,之前在 IDEA 中运行代码的环境我们称之为开发环境,不太一样。1.1 解压缩文件将 spark-3.0.0-bin-hadoop3.2_spark环境