[发明专利]HDFS存储平台的安全校验及修复的方法和装置

权利要求书

1.一种HDFS存储平台的安全校验及修复的装置，其特征在于，包括：所述装置设置在HDFS存储平台上，包括名字节点和数据节点；

所述的名字节点，用于管理文件块的存储数据节点信息，接收数据节点发送的损坏的文件块的查询请求，向所述数据节点返回所述损坏的文件块的备份存储数据节点信息；

所述的数据节点，用于存储文件块，对存储的文件块进行定期校验，检测文件块是否发生损坏，根据所述名字节点返回的损坏的文件块的备份存储数据节点信息从其它数据节点下载数据块，完成所述损坏的文件块的修复操作；

所述的名字节点包括：

数据分块处理模块，用于根据用户上传的数据文件大小，以设定的文件块大小对所述数据文件进行分块处理，为每个文件块建立三个备份的文件块，将所有文件块分布存储在不同的数据节点上；

存储信息管理模块，用于存储和管理每个文件块的元信息和每个数据文件对应的文件块列表信息，所述文件块的元信息包括；文件块名称、文件块索引、存储位置、存放节点、所属文件名称和上传时间；

查询请求处理模块，用于接收数据节点发送的损坏的文件块的查询请求，向所述数据节点返回所述损坏的文件块的备份存储数据节点信息；

所述的数据节点包括：

校验模块，用于对存储模块存储的文件块进行定期校验，检测文件块是否发生损坏，将检测出来的损坏的文件块的查询请求发送给所述名字节点；

修复模块，用于根据所述名字节点返回的损坏的文件块的备份存储数据节点信息从其它数据节点下载数据块，完成所述损坏的文件块的修复操作；

存储模块，用于存储文件块，使用一种建立文件块和校验值之间的对应关系的算法；

所述的算法是通过使用MD5算法根据从名字节点获取的文件块的元信息计算其所存储的文件块的哈希值，将所述哈希值作为文件块的校验值，将所述文件块的校验值和从名字节点获取的文件块的元信息一起进行关联存储；

所述的算法的具体处理步骤如下：

(1)根据用户上传的数据文件大小，以默认128M为文件块大小对上述数据文件进行分块处理，为每个文件块建立三个备份的文件块，将所有文件块分布存储在不同的数据节点上，每个文件块的元信息和每个数据文件对应的文件块列表存储在NameNode中；

(2)数据节点使用MD5算法计算其所存储文件块的哈希值，将上述哈希值作为校验值存储在数据节点上，使用的MD5算法只能通过文件块单向生成哈希值，无法根据哈希值生成对应文件块，是不可逆的，有效的防止了非法用户对文件块进行篡改，提高了数据的安全可靠性，所述的数据节点以基于数据文件的上传时间计算的哈希值作为参考，根据文件块和哈希值的对应关系，根据文件块的元信息对存储模块所存储的文件块重新计算校验值；

(3)数据节点上建立数据库，根据从NameNode中获取的文件块的元信息，包括文件块名称、文件块索引、存储位置、存放节点以及所属文件名称等，与步骤二所计算的对应校验值一起保存在数据表中，该数据表中存储文件块和校验值等相关信息对应关系；

所述的校验模块，具体用于按照设定的校验间隔根据文件块的元信息对存储模块所存储的文件块重新计算校验值，将重新计算出的哈希值与存储模块所存储的校验值进行比对，如果比对结果为不一致，则判断文件块发生损坏，将损坏的文件块的查询请求发送给名字节点；如果比对结果为一致，判断文件块正常；如果重新校验文件块时，发现文件块打开失败或者文件块不存在了，则判断文件块发生损坏，将损坏的文件块的查询请求发送给名字节点； 校验模块每隔一段时间对节点上存储的文件块进行完整性校验，用户可通过设置校验间隔来调整每个文件的校验周期，对于重要文件可适当缩短校验间隔，保证数据文件的完整性，而对于一般文件，可适当增加校验间隔，减轻系统的运行压力，提高校验的灵活性；

所述的装置应用在基于HDFS的存储平台，但未修改HDFS系统源码，与HDFS系统耦合度很低，具有灵活性和可扩展性。