[发明专利]HDFS存储平台的安全校验及修复的方法和装置

说明书

本发明提供了一种HDFS存储平台的安全校验及修复的方法和装置。该装置设置在HDFS存储平台上，包括名字节点和数据节点；名字节点用于管理文件块的存储数据节点信息，接收数据节点发送的损坏的文件块的查询请求，向数据节点返回损坏的文件块的备份存储数据节点信息；数据节点用于存储文件块，对存储的文件块进行定期校验，检测文件块是否发生损坏，根据名字节点返回的损坏的文件块的备份存储数据节点信息从其它数据节点下载数据块，完成损坏的文件块的修复操作。本发明通过使用不可逆的MD5算法计算文件块校验值，解决了原系统中可能出现的文件篡改问题，保证了校验的可靠性，并实现了根据需要对校验间隔的调整，提高了校验效率。

技术领域

本发明涉及计算机信息技术领域，尤其涉及一种HDFS存储平台的安全校验及修复的方法和装置。

背景技术

Hadoop是一个能对大量数据进行分布式存储和海量信息分析的软件框架。HDFS(Hadoop Distributed File System，分布式文件系统)是Hadoop的核心之一，它将多台服务器的磁盘组合在一起成为一个分布式的存储系统，用于分布式存储海量数据。它简化了文件的一致性模型，通过流式数据访问，提供高吞吐量应用程序数据访问功能，适合带有大型数据集的应用程序，具有高可靠、高性能、可伸缩的能力。

HDFS是一个主从架构的分布式文件系统，主要由一个名字节点NameNode和许多个数据节点DataNode组成。存放入HDFS中的数据是一个文件分割成的一个或多个块，这些块被存储在一组数据节点中。NameNode主要的功能是负责执行诸如文件打开、关闭以及对文件重命名等一系列和文件命名空间相关的指令，同时还确定块与数据节点的映射。DataNode的主要功能是负责处理来自客户端的读写请求，同时它还可以按照NameNode给出的指示来执行与文件块相关的操作。

HDFS采用了多副本方式对数据进行冗余存储，保证系统的容错性和可用性。每一个文件块默认至少有三个备份，至少有一个备份放置在另一个机架中以防止当前运行备份的节点所在的机架宕机导致数据丢失，其他的备份放置在文件块所在机架的不同节点中。当一个文件块发生损坏时，可以从存储在其他节点上的副本中进行恢复，增加了数据存储的鲁棒性。采用冗余备份的方式可以有效地提高数据文件的可靠性，特别是对于重要的大数据文件。

目前HDFS为保证数据完整性使用两种校验方式：

方式1.在数据读取时采用校验和校验；

方式2.DataNode运行后台进程文件块检测程序DataBlockScanner，定期验证存储在这个数据节点上的所有文件块。

对于方式1，HDFS每固定长度(默认512字节)就会计算一次校验和，校验和和文件块一起保存，对于一个大文件，分成小文件块后再进行校验需要很长时间，计算效率低且浪费存储资源。同时原始HDFS采用的是循环冗余校验CRC32，但CRC32没有出于数据安全的考虑，只能根据校验值是否相同检测出文件块是否损坏，并不能检测出文件块是否被篡改，攻击者可通过原始CRC32校验码生成相同校验码的假文件，此时文件块被替换但CRC32值仍然相同，无法检测出来，无法实现对数据完整性可靠校验。

对于方式2，HDFS每隔504个小时(3周)进行一次扫描，若在此时间段内发生文件块损坏，系统无法检测出来，无法保证存储系统中的数据完整性。

综上所述可以看出，现有的HDFS存储平台的安全校验方法存在校验效率低下、校验频度过低、校验准确度低等问题，因此，提出一种更有效的HDFS存储平台的安全校验及修复方法是十分有必要的。

发明内容

本发明的实施例提供了一种HDFS存储平台的安全校验及修复的方法和装置，以克服现有技术的问题。

为了实现上述目的，本发明采取了如下技术方案。