[发明专利]一种Hadoop分布式文件系统HDFS纠删码冗余备份方法

摘要

本发明特别涉及一种Hadoop分布式文件系统HDFS纠删码冗余备份方法。该Hadoop分布式文件系统HDFS纠删码冗余备份方法，包括编码过程，数据完整性检查和不完整数据恢复三部分。该Hadoop分布式文件系统HDFS纠删码冗余备份方法，通过将纠删码策略引入到HDFS分布式文件系统中，提供了一种比HDFS三副本冗余备份策略更加节约磁盘空间的冗余备份方法，使HDFS能够更加灵活的选择数据备份方式。

主权项

1.一种Hadoop分布式文件系统HDFS纠删码冗余备份方法，其特征在于：包括编码过程，数据完整性检查和不完整数据恢复三部分；所述编码过程是由冗余编码节点周期性发起的，通过纠删码算法将HDFS文件进行冗余备份，并将HDFS原有三副本删除，冗余编码节点从HDFS上获取需raid的文件及文件blocks列表，冗余编码节点从HDFS读取数据执行编码，并将冗余块parities上传到HDFS；所述数据完整性检查是冗余编码节点周期性检查的，将损坏且能恢复的数据块添加到恢复数据列表中；所述不完整数据恢复即解码过程，由冗余编码节点周期性发起，通过纠删码解码算法对不完整数据进行恢复，从HDFS获取损坏冗余块parities，执行解码，并将恢复的数据上传到HDFS；如果不能恢复删除文件，则报告HDFS元数据节点。