[发明专利]一种再生码构造方法、文件重构方法及节点修复方法

说明书

本发明公开了一种再生码编码方法，包括获取组合设计和存储数据块；对区组排序并编号，统计元素出现的区组及位置，得到文件符号；对原文件进行编码，得到编码块；为每个编码块分配一个不同的文件符号；将每个元素一致的文件符号集合所对应的编码块放置在同一存储节点中，得到再生码。本发明还公开了一种基于所述的再生码构造方法的文件重构方法及节点修复方法。本发明提出的再生码构造方法参数限制宽松且能达到辛格尔顿上界，文件重构和节点修复过程运算简单，同时节点修复效率较高。

技术领域

本发明具体涉及一种再生码构造方法、文件重构方法及节点修复方法。

背景技术

在当今信息爆炸的时代，如何安全可靠地存储海量数据成为了亟需解决的问题。传统的文件存储系统已不能满足可用性和可扩展性等要求，分布式存储系统(DistributedStorage System)应运而生。该系统利用分布式技术，将存储节点通过网络联结起来形成一个能存储海量数据的集群。分布式系统将数据文件分散放置于多个存储节点中，由于网络故障或物理损坏，单个存储节点可能会失效，因此分布式系统必须引入冗余信息来保证可靠性。常见的冗余策略有多副本策略和纠删码策略。多副本策略就是把原文件复制若干倍后再存储，当有节点失效时，替换节点就可以直接从它的副本中复制数据，因此系统中只要存在一个完整的数据副本，源文件就能正常使用；但这种方案存储效率和系统可靠性较低。纠删码策略采用纠删码处理原始文件，常用的纠删码为(n, k)最大距离可分(MaximumDistance Separable, MDS)码，即将原始文件分成大小相等的k份，由这k份文件经线性编码后生成n-k份冗余信息，利用n个节点存储n个线性无关的编码块，终端用户可以通过连接到任意k个节点恢复出原始文件。显然纠删码策略存储效率更高，但是实现也更复杂，应用难度大。

在分布式存储系统中，利用n个节点存储大小为B的原始数据，每个节点存储的数据量为α，终端用户从n个存储节点中的任意k个下载数据即可恢复出原始文件，该过程被称为文件重构过程。当存储系统中有存储节点失效时，为了保证分布式系统的整体功能，需要对该失效节点进行恢复，该过程被称为节点修复过程。

RS（Reed-Solomon）码是一种常见的MDS码，RS码的节点修复过程为：先建立一个新的存储节点，再连接至k个节点下载数据并恢复出原始文件，利用原始文件经线性编码后再向该新节点存储相应的数据。图1为现有技术中RS码修复过程示意图，易见，为恢复一个节点中的存储信息而下载了k个节点的存储数据，修复节点时的数据传输量远大于节点的存储量，即节点的修复过程需要浪费大量的网络带宽。