[发明专利]一种云存储下基于纠错码的数据恢复方法

说明书

技术领域

本发明属于云存储技术领域，更具体地，涉及一种云存储下基于纠错码的数据恢复方法。

背景技术

云存储，指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和访问功能的系统。在大量存储设备协同工作的云存储系统中，存储设备出现故障而可能导致的数据异常是在设计云存储系统时需要考虑的关键部分。

目前的云存储系统主要通过远程备份功能提供容错服务，例如Hadoo_p。在云存储系统中，数据被分成多个固定大小的数据块，按照一定的分布方式，分开存储在多个远程节点上，同时，能够在其他远程节点存储数据块的备份。这种方式能够一定程度的避免数据的损坏，但是其存储开销太大，且增量写延迟较高。

目前针对云存储远程备份功能的缺陷，出现了NCCloud，其将数据分块存储在远程节点上，同时存储数据的校验块。并在云存储体系中引入代理节点，当远程节点出现故障时，代理节点通过获取其他节点的数据(数据块及校验块)，恢复出现故障的远程节点及其中存储的数据。但是，NCCloud的代理节点需要从远程节点获取故障恢复相关的所有数据，进行大量的数据传输，对网络带宽的要求较高。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供一种云存储下基于纠错码的数据恢复方法，该方法能够在远程节点发生永久性故障时，进行数据修复。

本发明是一种采用最大距离可分(Maximum-Distance-Separable，以下简称MDS)纠错编码,利用HPC算法的数据恢复方法。将数据分块存储在各远程存储节点上，同时存储数据块的副本和数据的校验块。当远程存储节点发生永久性故障而导致其内存储的数控失效时，修复操作可以读取现有的幸存云数据并恢复丢失的数据。

本发明提供一种云存储下基于纠错码的数据恢复方法，包括以下步骤：

步骤1将存储的数据分成固定大小的m个数据块b₀～b_m-1，同时复制所有的数据块生成m个复制块b'₀～b'_m-1，其中m＜N，N为云存储系统中的存储节点总数；

步骤2选取m个存储节点存储所述m个数据块b₀～b_m-1和所述m个复制块b'₀～b'_m-1，其中每一存储节点分别存储一个数据块和一个复制块，即第i个存储节点存储数据块b_i和数据块b_i+1的复制块b_i'₊₁，0≤i＜m-1,第m个存储节点存储数据块b_m-1和数据块b₀的复制块b'₀；

步骤3另随机选取不同于所述m个存储节点的k-1个存储节点分别存储使用标准RS编码所形成的k-1个奇偶校验块，其中k表示所述云存储系统中的容错节点数，k＜m；

步骤4根据故障节点所存储的数据内容确定数据恢复所需要用到的数据块或复制块或奇偶校验块，并由所述所需要用到的数据块或复制块或奇偶校验块所在的存储节点进行数据恢复计算；

步骤5将所述数据恢复计算的结果传输到替换所述故障节点的替换节点上；

步骤6所述替换节点计算并重组所述数据块或所述复制块或所述奇偶校验块以实现数据恢复。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下优点：

节约带宽，不需要通过大量的数据块数据传输进行数据块的恢复，通过使用RS校验码及利用存储节点自身的计算性能，先在存储节点对数据恢复所需的数据进行相应计算，对计算后的数据内容传输至替换节点，再在替换节点进行数据计算和重组以实现数据块的恢复，减少了数据传输量，减轻了数据恢复节点的计算负担；

节省空间，MDS编码仅存储1个复制块以及少量校验块，既保证了数据恢复的功能，又节省了分布式云存储系统的存储空间。

附图说明

图1为本发明采用HPC(m,k,c_k)数据恢复算法的云存储环境的数据布局结构图；

图2为本发明一种典型的HPC数据恢复算法模型HPC(4,2,c₂)的示意图；

图3为本发明采用a行n列规范化的数据布局结构图；

图4a为本发明损坏数据块中不存在奇偶校验块的数据恢复方法的流程图；