[发明专利]一种Hadoop分布式文件系统HDFS纠删码冗余备份方法

说明书

本发明特别涉及一种Hadoop分布式文件系统HDFS纠删码冗余备份方法。该Hadoop分布式文件系统HDFS纠删码冗余备份方法，包括编码过程，数据完整性检查和不完整数据恢复三部分。该Hadoop分布式文件系统HDFS纠删码冗余备份方法，通过将纠删码策略引入到HDFS分布式文件系统中，提供了一种比HDFS三副本冗余备份策略更加节约磁盘空间的冗余备份方法，使HDFS能够更加灵活的选择数据备份方式。

技术领域

本发明涉及大数据技术领域，特别涉及一种Hadoop分布式文件系统HDFS纠删码冗余备份方法。

背景技术

众所周知，Hadoop分布式文件系统(HDFS)采用三副本机制保障数据的可靠性，但是HDFS存储冷数据时，数据三副本造成了存储空间的极大浪费。纠删码冗余备份能够在减少副本的情况下，保障数据的可靠性，节省存储空间，降低集群存储成本。

基于上述问题，本发明设计了一种Hadoop分布式文件系统HDFS纠删码冗余备份方法。该方法不仅可以在最短的时间内实现资源的弹性配置，还可以实现运行着关键业务主机的宕机风险大大降低。

发明内容

本发明为了弥补现有技术的缺陷，提供了一种简单高效的Hadoop分布式文件系统HDFS纠删码冗余备份方法。

本发明是通过如下技术方案实现的：

一种Hadoop分布式文件系统HDFS纠删码冗余备份方法，其特征在于：包括编码过程，数据完整性检查和不完整数据恢复三部分；所述编码过程是由冗余编码节点周期性发起的，通过纠删码算法将HDFS文件进行冗余备份，并将HDFS原有三副本删除，冗余编码节点从HDFS上获取需raid的文件及文件blocks列表，冗余编码节点从HDFS读取数据执行编码，并将冗余块parities上传到HDFS；所述数据完整性检查是冗余编码节点周期性检查的，将损坏且能恢复的数据块添加到恢复数据列表中；所述不完整数据恢复即解码过程，由冗余编码节点周期性发起，通过纠删码解码算法对不完整数据进行恢复，从HDFS获取损坏冗余块parities，执行解码，并将恢复的数据上传到HDFS；如果不能恢复删除文件，则报告HDFS元数据节点。

该Hadoop分布式文件系统HDFS纠删码冗余备份方法，调用HDFS客户端接口实现对HDFS数据的操作，纠删码算法库采用Jerasure开源库；对应的纠删码冗余备份模块独立于HDFS，成为独立的可插拔模块。

所述编码过程，包括以下步骤：

(1)冗余编码节点检查raid.Check Conf.delay是否满足，满足则执行步骤(2)，不满足则执行步骤(1)；

(2)冗余编码节点处理参数，包括获取待编码文件，编码路径及编码方式；

(3)查询编码路径状态，判断是否包含目录且非local模式；

(4)如果不包含目录或者当前模式是local模式，则本地执行冗余编码，通过冗余编码节点遍历编码路经下所有文件并编码；

(5)如果包含目录且当前模式是dist模式，则向冗余编码节点提交冗余请求；冗余编码节点接收到client提交的请求后，根据提交的参数构造一个raid-policy，并添加到配置管理器中，等待冗余编码节点上守护线程处理该policy，执行编码。

所述数据完整性检查和不完整数据恢复，包括以下步骤：

(1)冗余编码节点检查raid.Check Integer.delay是否满足，满足则执行步骤(2)，不满足则执行步骤(1)；

(2)冗余编码节点判断损坏数据是否能恢复，不能恢复执行则执行步骤(3)，能恢复执行则执行步骤(4)；

(3)冗余编码节点报告HDFS数据块损坏；