[发明专利]一种基于二进制域里德所罗门码的数据编解码方法

说明书

本发明涉及分布式存储系统领域，尤其涉及一种基于二进制域里德所罗门码(Binary Reed‑Solomon Code,简为BRS码)的数据编解码方法，包括以下步骤：(A)原始数据构建二进制域里德所罗门码；(B)更新二进制域里德所罗门码；(C)重构二进制域里德所罗门码；所述步骤(A)、步骤(B)以及步骤(C)中的运算均采用异或运算。本发明的有益效果是：通过该方法大大提高了数据上传和下载的速率，很大程度上减少了系统操作复杂度(如元数据更新、更新后的数据广播等)；在实际的分布式存储系统中具有很高的应用价值和发展潜力。

【技术领域】

本发明涉及分布式存储系统领域，尤其涉及一种基于二进制域里德所罗门码的数据编解码方法。

【背景技术】

随着计算机网络应用的迅速发展，网络信息数据量变得越来越大，海量信息存储变得尤为重要，持续增长的数据存储压力带动着整个存储市场的快速发展；分布式存储以其高性价比、低初期投资、按需付费等优越的特点日益成为当今大数据存储的主流技术。分布式存储系统的存储结点失效已经成为一种常态,当系统所部署的存储结点变得不可靠时，必须引入冗余来提高结点失效时的可靠性,引入冗余最简单的方法就是对原始数据直接备份，直接备份虽然简单但是其存储效率和系统可靠性不高，而通过编码引入冗余的方法可以提高其存储效率；因此分布式存储的高概率可用性、可靠性以及安全性等均是分布式存储系统的关键技术问题。在目前的存储系统中，编码方法一般采用MDS码，MDS码可以达到存储空间效率的最佳，一个(n,k)MDS纠删码需要将一个原始文件分成k个大小相等的模块，并通过线性编码生成n个互不相关的编码模块，由n个结点存储不同的模块，并满足MDS属性(n个编码模块中任意k个就可重构原始文件)。

当存储系统中的存储结点失效时，为了保持存储系统的冗余量，需要恢复该失效结点存储的数据并将该数据存储在新结点中，该过程称为修复过程。在修复过程中，里德所罗门码首先需要下载k个存储结点的数据并恢复出原始数据，之后为新结点编码出失效结点的存储数据。而当原始数据出现改动时，为了维持数据的一致，需要对冗余的校验数据块进行更改，这个过程称为更新过程。

RDP码，全称RowDiagonal Parity Code,是一种简单的纠删码(引自论文References P.Corbett et al.“Row diagonal parity for double disk failurecorrection,”4th Usenix Conf.on File and Storage Tech.,San Francisco,2004)。它不需要使用有限域或者生成矩阵，只是按行和按泛对角线进行异或计算，生成两个校验数据块，构成了一种带有2个校验数据块的纠删码；但是RDP码更新复杂度偏高和不可拓展。

论文[James S.Plank,Optimizing Cauchy Reed-Solomon Codes for Fault-Tolerant Network Storage ApplicationsNetwork Computing and Applications,2006.]提出的柯西里德所罗门码(CauchyReed-Solomon Code，简称CRS码)是当前最常用的里德所罗门编码之一，已经被广泛用于分布式存储系统中，例如在HDFS中就提供了一套基于CRS编码的分布式存储系统。但是CRS依然存在着一些缺陷，首先，使用0-1生成矩阵，虽然能大大降低编解码复杂度，但实际上，它的解码复杂度却不是最优的，还存在许多纠删码，比如DRP编码，它们的解码复杂度要优于CRS。其次，它用于编解码的有限域二进制矩阵还是比较复杂，散乱无章的0和1使得编解码难以更进一步优化。然后，也是因为编码复杂度目前还比较高，使得数据更新时，需要分析各种不同的情况，也使得编码复杂度比较高。

【发明内容】