[发明专利]一种基于哈希的HDFS后端存储系统

说明书

本发明涉及一种基于哈希的HDFS后端存储系统，涉及数据存储技术领域。本发明在HDFS的DataNode部分添加哈希函数，用于将HDFS的数据块ID映射成相应的内存和磁盘地址偏移，DataNode可以根据地址偏移直接与内存和磁盘进行数据交互，绕过了原有的本地文件系统层，HDFS后端存储系统相关的元数据存储在磁盘首部，集群重启时可根据元数据重建内存数据结构，从而保证了数据的安全性和一致性。本发明缩短了HDFS的IO路径，提高了HDFS的存取性能，提升了用户的数据存储体验。

技术领域

本发明涉及数据存储技术领域，具体涉及一种基于哈希的HDFS后端存储系统。

背景技术

在分布式文件系统HDFS中，集群文件数据被切分为固定大小的块，存储在各个DataNode上，这些数据块直接以文件的形式存储在本地文件系统中。本地文件系统具有很好的稳定性和兼容性，HDFS只需简单的调用文件系统接口即可实现数据读写操作，但这种设计会带来一定的性能损失。首先，本地文件系统中的目录结构、文件权限等元数据信息HDFS集群并未使用，属于无效数据。其次，本地文件系统为了保障数据一致性设计了本地日志保护机制，这对于HDFS的数据一致性保障机制来说属于冗余数据。无效数据和冗余数据的存储不仅降低了系统的读写性能，而且浪费了磁盘存储空间，存在读写放大问题。再者，HDFS所需的校验和数据只能以单独的文件存储，无法以文件属性的方式和数据形成高耦合，定位这些数据可能需要多次磁盘寻址，进而影响系统整体的读写性能。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何解决HDFS后端存储过程中使用本地文件系统时存在的读写放大、磁盘利用率低的问题，提升HDFS的读写性能。

(二)技术方案

为了解决上述技术问题，本发明提供了一种基于哈希的HDFS后端存储系统设计方法，将该HDFS后端存储系统设计为包括计算模块、磁盘和内存；所述计算模块布置于HDFS的DataNode中，通过哈希函数实现将HDFS的数据块ID映射成相应的内存和磁盘地址偏移的功能；

所述磁盘的存储空间被划分为两大部分，磁盘首部存储着HDFS后端存储系统的元数据信息，其余空间存储用户数据；

HDFS后端存储系统的元数据设计为由以下几个字段组成，头部4个字节的空间存储魔数，用以标识该磁盘已被初始化，后8个字节的空间存储HDFS块大小信息，接下来8字节存储块数量信息，指示该HDFS最多能够存储的块数量，最后是块数量对应个数的数据块ID，每个数据块ID占用8字节空间，如果该位置有数据，则标志着用户数据部分相应偏移的空间存储的数据是有效的；

用户数据由三个字段组成，起始的8字节用于表示实际存储数据的长度，接下来的部分为预留数据、校验和的空间，其大小由HDFS后端存储系统的元数据中块大小字段指定，这三个字段按元数据中块数量字段的指示依次分配，每一块占用的空间大小固定，可通过计算偏移直接读写相应的数据；

内存的存储空间被分为两个部分，SystemInfo和BlockInfo，SystemInfo类存储着HDFS后端存储系统的元数据信息，blockSize字段和blockNumber字段分别对应磁盘中的块大小和块数量，blockInfos数组存储所有数据块的信息，其中每一个元素均为BlockInfo类；BlockInfo类存储单独数据块的信息，包括数据块ID、块实际长度和校验和；

HDFS后端存储系统初始化时，磁盘中的数据被读取到内存中相应数据结构的字段内；HDFS后端存储系统发生数据读写时，哈希函数接收数据块ID并计算偏移，该偏移为内存空间中blockInfos数组的下标，HDFS后端存储系统可以据此读写对应BlockInfo类中的字段。