spark存储管理源码分析系列之DiskBlockManager-CSDN博客

网站介绍:前面我们了解了Spark存储的底层块数据Block的相关数据结构以及块管理器BlockInfoManager,本节我们来看下DiskBlockManager,它主要负责维护块数据在磁盘上存储位置的关系,负责数据目录规划,然后通过DiskStore进行数据写入,读取,删除操作。DiskBlockManagerDiskBlockManager负责维护块数据与其在磁盘上存储位置的关系,创建了二级目录来维护逻辑block和落地后的block文件的映射关系的,二级目录用于对文件进行散列存储,散列存储可以使所有.