Spark 运行架构_spark的运行框架-CSDN博客

网站介绍:文章浏览阅读101次。Spark 运行架构1 运行架构Spark 框架的核心是一个计算引擎,整体来说,它采用了标准 master-slave 的结构。如下图所示,它展示了一个 Spark 执行时的基本结构。图形中的 Driver 表示 master,负责管理整个集群中的作业任务调度。图形中的 Executor 则是 slave,负责实际执行任务。2 核心组件由上图可以看出,对于 Spark 框架有两个核心组件:2.1 DriverSpark 驱动器节点,用于执行 Spark 任务中的 main 方法,负责实际代码_spark的运行框架