[发明专利]一种基于最小存储再生码的多节点数据文件的修复方法

说明书

本发明公开了一种基于最小存储再生码的多节点数据文件的修复方法。其实现方案是：先限定各个参数的范围，构造编码修复时所需要的矩阵；将大小为B的原始数据文件存储在前k个系统节点中，对存储在系统节点中的源码元进行编码并存储至后k个奇偶校验节点；当有任意t(2≤t≤k)个系统节点出现故障时，每个辅助节点各自发送一个码元到每个新节点，新节点在获得了修复各自节点所需的码元后再互相交换该节点收到的码元，对故障节点进行修复，重建数据；最后可以由各个节点存储的码元恢复得到原始数据文件。本发明解决了现有单节点故障修复时所需存储容量大、占用网络带宽多且只能修复单一节点故障的问题，可用于分布式存储中多节点故障的修复。

技术领域

本发明涉及分布式存储领域，尤其涉及一种基于最小存储再生码的多节点数据文件的修复方法。

背景技术

在分布式存储系统中，一个数据文件被分发到许多通过网络连接的存储节点中存储。如果某些存储节点从网络中暂时断开，或永久断开，该文件的内容可以从其他连接良好的节点中修复出来。保证数据存储可靠的一个简单方法是将数据复制成三个副本文件，然后分别存储在三个不同的节点，这种方法需要采用大型的云存储系统，它允许三个存储节点中出现单一节点的故障并能成功将其修复，如谷歌文件系统。但由于备份数据的容量是有用数据容量的两倍，所以采用这种方法来修复节点时，存储效率很低且只能修复一个故障节点。

Facebook存储系统的基础架构，是由数据率为10/14的高速率里德-索罗门(RS)码进行维护的，即每四个奇偶校验码元被附加到每十个信息码元上。RS码不仅是一种高速率编码方法，同时也具有高效率的解码算法。但尽管如此，Facebook的集群并不是所有的数据都用RS码来维护，因为在RS码的传统解码算法中，没有将网络带宽放在考虑范围之内。假设编码后的码元存储在不同的节点上，如果其中一个磁盘发生故障，则RS码需要下载其他存储节点上的10个码元来修复这一个节点故障，导致用于修复单个节点的数据量就是待修复节点数据量的10倍，从而加大了节点存储容量和数据传输带宽的负担。而在大规模分布式存储系统中，节点故障几乎每天都在发生，如果所有的数据都由RS码编码解码，那么在进行故障节点修复时所需要的节点存储容量和网络带宽资源将会很大。

发明内容

针对上述问题，本发明提出了一种基于最小存储再生码的多节点数据文件的修复方法，通过一种高效的编码方法，在分布式存储节点出现故障时，以最小的存储容量和带宽资源来交换数据完成多节点故障的修复，以改进现有单节点故障修复时需要节点存储容量大、占用网络带宽资源多的问题，提高分布式存储系统的可靠性。

为实现上述目的，本发明的技术方案包括如下步骤：

一种基于最小存储再生码的多节点数据文件的修复方法，包括以下步骤：

步骤一：构造编码修复所需矩阵，给定各个参数表示的含义及其限定的范围，再构造编码和修复时所需矩阵；

步骤二：对源码元进行编码并存储；

步骤三：故障节点修复，重建数据；

步骤四：由各个节点存储的码元修复原始数据文件。

进一步根据所述基于最小存储再生码的多节点数据文件的修复方法，步骤一中构造编码修复所需矩阵，给定各个参数表示的含义及其限定的范围，再构造编码和修复时所需矩阵；

按如下步骤进行：

(1-1)n表示分布式存储中存储节点的个数，t表示存储节点中出现故障的系统节点个数，d表示在修复故障节点时参与修复的节点个数；

存储节点分为两类：一类为系统节点，用于存储未经编码的码元，也叫源码元，共有k个；另一类为奇偶校验节点，用于在编码过程中进行奇偶校验，共有k个；n＝2k，d＝n-t，k≥t≥2；