网站介绍:文章浏览阅读816次。BlockManager数据存储与管理机制BlockManager是整个Spark底层负责数据存储与管理的一个组件,Driver和Executor的所有数据都由对应的BlockManager进行管理。Driver上有BlockManagerMaster,负责对各个节点上的BlockManager内部管理的数据的元数据进行维护,比如block的增删改等操作,都会在这里维护好元数据的变更。每个节..._spark核心组件及作用
- 链接地址:https://blog.csdn.net/u012387141/article/details/105816685
- 链接标题:Spark 核心组件详细解析_spark核心组件及作用-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:7226
- 网站标签:spark核心组件及作用