[发明专利]一种Hadoop分布式文件系统HDFS纠删码冗余备份方法

权利要求书

1.一种Hadoop分布式文件系统HDFS纠删码冗余备份方法，其特征在于：包括编码过程，数据完整性检查和不完整数据恢复三部分；所述编码过程是由冗余编码节点周期性发起的，通过纠删码算法将HDFS文件进行冗余备份，并将HDFS原有三副本删除，冗余编码节点从HDFS上获取需raid的文件及文件blocks列表，冗余编码节点从HDFS读取数据执行编码，并将冗余块parities上传到HDFS；所述数据完整性检查是冗余编码节点周期性检查的，将损坏且能恢复的数据块添加到恢复数据列表中；所述不完整数据恢复即解码过程，由冗余编码节点周期性发起，通过纠删码解码算法对不完整数据进行恢复，从HDFS获取损坏冗余块parities，执行解码，并将恢复的数据上传到HDFS；如果不能恢复删除文件，则报告HDFS元数据节点。

2.根据权利要求1所述的Hadoop分布式文件系统HDFS纠删码冗余备份方法，其特征在于：调用HDFS客户端接口实现对HDFS数据的操作，纠删码算法库采用Jerasure开源库；对应的纠删码冗余备份模块独立于HDFS，成为独立的可插拔模块。

3.根据权利要求1所述的Hadoop分布式文件系统HDFS纠删码冗余备份方法，其特征在于：所述编码过程，包括以下步骤：

(1)冗余编码节点检查raid.Check Conf.delay是否满足，满足则执行步骤(2)，不满足则执行步骤(1)；

(2)冗余编码节点处理参数，包括获取待编码文件，编码路径及编码方式；

(3)查询编码路径状态，判断是否包含目录且非local模式；

(4)如果不包含目录或者当前模式是local模式，则本地执行冗余编码，通过冗余编码节点遍历编码路经下所有文件并编码；

(5)如果包含目录且当前模式是dist模式，则向冗余编码节点提交冗余请求；冗余编码节点接收到client提交的请求后，根据提交的参数构造一个raid-policy，并添加到配置管理器中，等待冗余编码节点上守护线程处理该policy，执行编码。

4.根据权利要求1所述的Hadoop分布式文件系统HDFS纠删码冗余备份方法，其特征在于：所述数据完整性检查和不完整数据恢复，包括以下步骤：

(1)冗余编码节点检查raid.Check Integer.delay是否满足，满足则执行步骤(2)，不满足则执行步骤(1)；

(2)冗余编码节点判断损坏数据是否能恢复，不能恢复执行则执行步骤(3)，能恢复执行则执行步骤(4)；

(3)冗余编码节点报告HDFS数据块损坏；

(4)将数据块添加到修复队列，冗余编码节点周期性对恢复队列中的数据进行检查和修复。