[发明专利]一种针对二进制编码冗余存储系统的低带宽数据重构方法

说明书

技术领域

本发明涉及电子信息数据的编码存储技术领域，特别涉及数据在分布式基础存储架构上的数据容灾与丢失数据低带宽重构技术。

背景技术

随着有线网络技术与无线网络技术的飞速发展，利用网络构建分布式存储系统已成为趋势。然而，在逻辑上，网络覆盖范围宽广，任何节点因一些无法预测的偶发性变故都可能导致分布式系统上存储的某些重要数据永久性丢失或损毁，如包括人为操作失误、设备元器件故障、地震、水灾、火灾、台风、乃至恶意窃取等，由此可能造成难以估量的损失；特别是用于野外监测的传感器网络节点，由于野外环境变化较大，有些极端环境较为恶劣，数据采集节点会出现频繁损毁的情况，因而，如何实现已采集数据的完好保存，急需新的存储技术，以满足存储数据的高可靠性存储。

当前数据存储主要是基于“数据备份——多机备份与热切换”这种数据冗余机制，其技术路线的核心是文件复制技术，例如异地镜像备份、设置不同地点的备份服务器等都是常用的方法，如谷歌存储系统的重要文件均有3个甚至多个副本。虽然文件复制技术具有存储操作简单、读取操作快速的优点，但文件复制技术路线的数据冗余高，用于“灾难备份”存在着诸多弊端，若主要采用文件复制技术来防范，显然在网络上将有大量的备份服务器在多数时间里至少要闲置一倍乃至多倍的存储空间，这将造成惊人的资源浪费，网络规模越大这种浪费越巨大。

当前，基于二进制编码冗余存储策略已逐渐成为新型信息系统基础存储架构的关键技术。该种技术在数据中心存储系统、野外传感器网络等方面具有广阔的应用价值；对系统工作环境变化大、较为恶劣，数据节点存储容量有限、数据容易丢失的情况具有很好的应对作用。

如越来越多的系统利用纠删码冗余策略存储系统的关键数据。当系统采用纠删码时，大小为M的原文件f被分割为s个大小相同的初始分块，每个分块大小为M/s；由s个初始分块计算得到大小相同的r个编码块，s个初始分块和r个编码块组成了待存储的数据。由初始分块得到校验块的方法采用的是纠删码编码技术，该种技术通常称这种纠删码为“（s+r,s）纠删码”。对于纠删码冗余模式，所有的s+r个数据块最终被存储在s+r个不同的存储节点中，只要故障节点数不多于r个，那么未故障节点中的数据就能恢复出原文件，因此对于参数为s和r的纠删码冗余，系统允许某一时刻发生故障的节点的个数最多为r。如果要修复故障节点中的数据，那么纠删码冗余就比复制冗余复杂多了。以编码技术采用RS码为例，当一个数据块丢失时，系统需要将任意的s个未丢失数据块传输到新节点中，先译码得到原文件，再编码产生丢失的数据块。

由于在恢复丢失的数据块时，需要将任意的s个未丢失数据块传输到新节点中进行译码，当数据量较大时，利用传统的数据重构方法就会给存储系统带来巨大的网络带宽压力，降低丢失数据块恢复的时间。

发明内容

针对现有技术存在的问题，本发明的主要目的在于提供一种降低对丢失数据块进行恢复时给存储系统带来的网络带宽压力的针对二进制编码冗余存储系统的低带宽数据重构方法。

为实现上述目的，本发明提供一种针对二进制编码冗余存储系统的低带宽数据重构方法，该二进制编码冗余存储系统包含一编码矩阵和一数据校验矩阵，该数据校验矩阵包含行向量和列向量，当二进制编码冗余存储系统的存储节点发生损毁导致数据块丢失，对丢失的数据块进行恢复，该低带宽数据重构方法包括如下步骤（1）至步骤（4）：

（1）建立该丢失的数据块与该数据校验矩阵行向量之间的对应关系，并根据二进制编码冗余存储系统中未丢失数据块所对应的数据校验矩阵的列向量所构成的子矩阵确定低带宽校验矩阵；

（2）判断低带宽校验矩阵是否多于一个；

（3）若低带宽校验矩阵多于一个，则判断利用各个低带宽校验矩阵对丢失数据块进行恢复所需要的未丢失数据块数量是否相同，即判断利用不同低带宽校验矩阵对丢失数据块进行恢复给二进制编码冗余存储系统各存储节点带来的I/O压力是否相同；

（4）若利用不同低带宽校验矩阵对丢失数据块进行恢复给二进制编码冗余存储系统各存储节点带来的I/O压力不相同，则选择所需重构数据块（未丢失的数据块）最少的，即对存储节点I/O压力影响最小的低带宽校验矩阵对丢失的数据块进行数据重构。

进一步地，当该步骤（2）判断低带宽校验矩阵只有一个，则利用该低带宽校验矩阵对丢失的数据块进行数据重构。