[发明专利]部分复制码的构建方法、装置及其数据修复的方法

说明书

一种部分复制码的构建方法，对数据进行MDS编码，得到β个编码块(S11)，并将编码块依次编号得到集合V(S12)；对所述集合V中的元素进行分组，得到β/t个组(S13)；根据集合V的分组情况，得到所有符合条件的区组(S14)；将得到的区组对应的编码块存储在存储节点，每个存储节点存储一个区组对应的编码块，得到部分复制码(S15)。该部分该部分复制码的构建方法、实现该方法的装置及对上述部分复制码进行数据修复的方法具有以下有益效果：其参数设置较为方便、灵活。

技术领域

本发明涉及网络存储领域，更具体地说，涉及一种部分复制码的构建方法、装置及其数据修复的方法。

背景技术

随着计算机技术和因特网的飞速发展，网络信息数据量呈爆炸式增长，大数据对现有存储系统提出了严峻的挑战，高效地存储海量数据的系统已经越来越重要。目前，分布式存储系统以其高效的可扩展性和高可用性成为存储海量数据的有效系统。然而在大规模分布式存储系统中，由于突发性断电等情况，数据存储节点是不可靠的。为了能够由不可靠的存储节点提供可靠的存储服务，通常需要在存储系统中引入冗余。引入冗余最直接的方法就是对原数据直接备份，备份机制虽然简单但是其存储效率不高。在相同冗余的情况下，新兴的编码技术的引入可以大幅地提高其存储效率。在目前的存储系统中，编码方法一般采用MDS码(Maximum Distance Separable，最大距离可分)，MDS码可以实现存储空间效率的最佳。一个参数为(n，k)的MDS码需要将一个原文件均分成k个大小相等的模块，并通过编码生成n个互不相关的编码模块，由n个节点存储不同的模块，并满足任意k个节点存储的数据就可重构原始文件，该特性进一步称为MDS属性。这种编码技术在提供有效的网络存储冗余中占有重要的地位，特别适合大文件存储以及档案数据备份应用。

在分布式存储系统中，通常把大小为B的数据存储在n个存储节点中，每个节点存储的数据大小为α。数据接收者只需要连接n个存储节点中的任意k个并下载数据即可恢复出原始数据B，这一过程称为数据重建过程。RS(Reed-Solomon，里德-所罗门)码是一种典型的满足MDS码特性的一种码字。当存储系统中的存储节点失效时，为了保持存储系统的冗余量，需要恢复该失效节点存储的数据并将该数据存储在新节点中，该过程称为修复过程。然而，在修复过程中，RS码首先需要下载k个存储节点的数据并恢复出原始文件，再为新引入的节点编码生成失效节点存储的数据。为了恢复一个存储节点的数据而解码出整个原始数据显然对网络带宽是一种浪费。

然而，由于系统中节点失效或者文件损耗，系统的冗余度会随着时间而逐渐减小，因此需要一种机制来保证系统的冗余。在此基础上，有人提出了EC码(Erasure Codes，纠删码)，该码有效地减少了系统存储开销，然而支持冗余恢复所需要的通信开销也比较大。在EC码中，数据修复时首先从系统中的k个存储节点中下载数据并重构原始文件；再由原始文件再重新编码出新的模块，存储在新节点上。该恢复过程表明修复任何一个失效节点所需要的网络负载至少为k个节点所存储的内容。

为了降低修复过程中所使用的带宽，有人利用网络编码理论的思想提出了再生码(RGC，Regenerating Codes)，RGC码也满足MDS码特性。传统的再生码修复过程中，替换节点需要在剩下的可用存储节点中连接x个并分别从这x个存储节点中下载y大小的数据，所以RGC码的修复带宽为xy。对于RGC码功能修复而言，提出了RGC码的两类最佳码：最小存储再生码(MSR)和最小修复带宽再生码(MBR)。RGC码的修复过程中不需要重构出源文件，修复带宽优于RS码。