[发明专利]HDFS存储平台中的文件校验修复方法

说明书

本发明提供了一种HDFS存储平台中的文件校验修复方法。包括：客户终端对文件数据进行分块处理后，生成并存储每个文件块的校验值，将各个文件块上传给HDFS存储平台，HDFS存储平台将一个文件块在多个数据节点上备份存储；客户终端向存储某个文件块的各个数据节点发送文件块校验请求，各个数据节点计算出某个文件块的校验值，并返回给客户终端；客户终端将各个数据节点返回的校验值和本地存储的校验值进行比对，根据比对结果确定数据节点上某个文件块的存储状态是否正常，通知存储状态为异常的数据节点对某个文件块进行修复。本发明通过将文件校验信息保存在客户终端本地，客户终端可在本地对HDFS所存文件进行可靠校验，而不需要留存整个文件副本。

技术领域

本发明涉及文件存储管理技术领域，尤其涉及一种HDFS(Hadoop DistributedFile System，Hadoop分布式文件系统)存储平台中的文件校验修复方法。

背景技术

HDFS是云计算平台Hadoop的核心部件之一，可以联合多台服务器共同存储同一数据。HDFS使用简化的一致性模型和流式数据访问，能够检测和快速应对硬件故障，具有高容错性、低硬件开销等特点。

HDFS是一个主从架构的分布式文件系统，以管理节点-数据节点的模式运行，使用一个管理节点来管理多个数据节点。管理节点负责管理维护文件系统中所有的目录、文件和命名空间，记录了所有数据块的块分布。数据节点负责存储所有的数据块，维护且定期向管理节点发送着其上所存数据块的列表。数据块为DFS(Distributed File System，分布式文件系统)的最小存储单位，可以在配置阶段自主配置其大小，如HDFS的默认大小为128MB。文件在上传到DFS中时会被切分成相同大小的数据块并被保存到各个数据节点中，若文件不满足块大小，按其自身大小保存。

在频繁的数据交换场景下，数据可能因为磁盘或者数据节点自身损坏而丢失。HDFS为了应对这种情况，通过备份来提高数据的容错能力和可用性。每一个文件块会被复制出多个副本，分别存储在多个相互独立的数据节点中。若某个文件块出现异常，则可以从其他存储节点上读取备份的文件块进行修复。

目前，现有技术中的一种保证HDFS数据完整性的方法为：每当HDFS创建文件a时，HDFS就会同时在同一个文件夹下创建隐藏文件a.crc，这个文件记录了文件a的校验和。针对数据文件的大小，每512个字节会生成一个32位的校验和(4字节)。

上述现有技术中的保证HDFS数据完整性的方法的缺点为：用户文件及对应校验信息都保存在服务端，脱离了用户的直接掌控，这就会让一些不诚实的存储服务提供商有机可乘。存储服务提供商可能是不诚实的，可能会为了节省自身的硬件和运维成本而减少数据的冗余备份量，给数据的安全性带来极大威胁；一旦数据和它的少量备份同时损坏，那么损坏将是不可逆的。而且存储服务提供商在检测到数据异常时，还可能会因为自身信誉而出现瞒报的情况。

发明内容

本发明的实施例提供了一种HDFS存储平台中的文件校验修复方法，以克服现有技术的问题。

为了实现上述目的，本发明采取了如下技术方案。

一种HDFS存储平台中的文件校验修复方法，包括：

客户终端对文件数据进行分块处理后，使用密码学哈希算法生成并存储每个文件块的校验值，将各个文件块上传给HDFS存储平台，HDFS存储平台将各个文件块分布式存储在数据节点上，将一个文件块在多个数据节点上备份存储；

当所述客户终端需要校验某个数据块时，向存储某个文件块的各个数据节点发送文件块校验请求，所述各个数据节点使用密码学哈希算法计算出所述某个文件块的校验值，并返回给所述客户终端；