网站介绍:前面我们了解了Spark存储的底层块数据Block的相关数据结构以及块管理器BlockInfoManager,本节我们来看下DiskBlockManager,它主要负责维护块数据在磁盘上存储位置的关系,负责数据目录规划,然后通过DiskStore进行数据写入,读取,删除操作。DiskBlockManagerDiskBlockManager负责维护块数据与其在磁盘上存储位置的关系,创建了二级目录来维护逻辑block和落地后的block文件的映射关系的,二级目录用于对文件进行散列存储,散列存储可以使所有.
- 链接地址:https://blog.csdn.net/lidongmeng0213/article/details/109080159
- 链接标题:spark存储管理源码分析系列之DiskBlockManager-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:4946
- 网站标签:spark存储管理源码分析系列之DiskBlockManager