[发明专利]可降低修复带宽和磁盘读取开销的编码方法及其修复方法

说明书

本发明涉及一种可降低修复带宽和磁盘读取开销的编码方法及其修复方法，该编码方法包括以下步骤：步骤S1、将大小为M＝kf的源文件平均分为f个子文件,同时对这些子文件分别采用(n；k)RS码进行编码，每个子文件得到n个编码数据；步骤S2、将具有相同下标的编码数据分为一组，再将每组的编码数据分为p段，其中p≥2；步骤S3、分别对每段的编码数据进行异或操作生成校验数据。本发明的编码构造使用了(n；k)RS码作为外部编码生成编码数据，将其分段分别对每段的编码数据通过异或操作生成校验数据，形式简单，益于在软硬件上实现。

技术领域

本发明涉及分布式存储系统领域，具体涉及一种可降低修复带宽和磁盘读取开销的编码方法及其修复方法。

背景技术

现今世界已进入信息化的时代，信息以各种各样的形式产生、处理、传输以及存储：文本格式、音频、视频、图片、多媒体等等。对存储系统来说，这些信息都是以数据的形式存在。面对信息的日益增长，对海量数据的存储成为了当下迫切需要解决的问题。在网络技术和分布式应用的不断发展下，分布式存储系统因具有较好的高可用性和可扩展性等优点而得到了广泛的关注和应用。然而，当系统遭到破坏时，为了对抗数据失效，需要同时保存相当数量的冗余数据，对于数据的冗余策略需要确定两点：一是当数据失效时，可以利用剩余节点的数据来重构原始数据，二是如何创建冗余数据，使得失效节点得以修复，这个过程我们称其为节点的修复。在修复过程中，所下载数据的量被称为修复带宽。

常见的冗余机制包括复制、纠删码。复制是将原始信息的多个副本分别存放在多个存储节点上，通过连接其它有效的节点获取数据，以应对节点数据的失效，文献TheGoogle File System，Proceedings of the 19th ACM Symposium on Operating SystemsPrinciples 2003,Bolton Landing,NY,USA,37(5):29- 43，October 2003(Google文件系统，2003年第19届ACM操作系统原理研讨会论文集，美国纽约州博尔顿兰德，第37卷，第5期，第29-43页，2003 年10月)指出Google公司使用的GFS就是复本机制。一个(n；k)纠删码是将源文件分成k个原始信元，然后编码成n(kn)个信元，此时数据接收方可以利用n个编码信元中任意的m(k≤m)个恢复出原始的信元信息。特别地，当m＝k 时，称为满足(n；k)性质的最大距离可分码(MDS Code)。在相同的数据冗余度下，MDS码的存储开销达到最优值为M/k，因为k个信元所包含的信息量是能恢复出原始信息所必需的最小信息量，如RS(Reed-Solomon)码。在分布式存储系统Ocean Store上，Weatherspoon等人在文献Erasurecoding vs.replication:A quantitative comparison.Proceeding of the FirstInternational Workshop on Peer-to- Peer Systems,Cambridge,Massachusetts,2002:328-338(纠删码与复制：定量比较，第一届P2P系统国际研讨会论文集，马萨诸塞州剑桥，第328-338页， 2002)中就使用了纠删码来应对失效数据的重构与修复，节省了存储空间。对于采用传统的MDS码的分布式存储系统，在修复一个失效节点时需要重构出原始文件，再编码产生失效节点里的数据，带宽资源消耗巨大。