[发明专利]分布式存储系统的数据同步修复方法及存储介质

说明书

一种分布式存储系统的数据同步修复方法，即一种用于分布式存储系统有节点失效时，以最小修复带宽对多个故障节点进行同步修复的方法。首先选择辅助节点并从中获得辅助数据子块，然后构造与待修复节点所存储的数据块相关的修复矩阵，最终通过将修复矩阵与辅助数据子块相乘重建丢失的数据块；或者通过解码的方式重建丢失的数据块。其中，待修复节点包括全部失效的系统节点，或者全部或部分失效的校验节点。本方法适用于在保证最小修复带宽下对多个失效节点进行同步修复，并且能够根据需求选择待修复节点，以尽可能的减小修复带宽。

技术领域

本发明涉及分布式存储领域，具体涉及一种对一个或多个失效节点进行同步修复的方法。

背景技术

分布式存储系统因其高可用性、高可扩展性以及对海量数据的高效存储能力使其在存储技术领域得到了广泛应用。但是，不可避免的在分布式存储系统中的存储节点，会由于多种原因出现故障，失去对外提供数据服务的能力，从而成为失效节点。为了保证数据的安全，以及不间断地对外提供服务，传统解决方法是采用副本或纠删码等冗余技术。相对而言，副本方式比较浪费存储空间，纠删码的空间利用率相对较高，但采用纠删码技术修复失效节点需要的网络带宽较大。具体体现在，使用纠删码技术的分布式存储系统，即使只有一个节点失效，也必须要通过网络收集到完整的数据段才能恢复出失效节点上存储的那一小部分数据块。为了解决这个问题，一种名为“再生码”(Regenerating Code)的新型编码技术应运而生。通常的再生码和纠删码一样，也具有最大距离可分(Maximum DistanceSeparable，MDS)的性质，不同的是，当修复失效节点时，再生码在特定的情况下只需要收集整个数据段的一小部分，因此可以大大节省网络带宽，继而显著地提高整个系统的性能。

再生码的理论框架中，关于修复所需带宽和存储空间效率之间的折中，有两个边界极值点，分别叫做“最小带宽再生”(Minimum Bandwidth Regenerating，MBR)和“最小存储再生”(Minimum Storage Regenerating，MSR)，二者也分别代表了两种主要的再生码类别。在修复所需带宽和存储空间效率的折中曲线上，MBR码能达到理论上最小修复带宽的极值点，但存储效率并非最高。而MSR则能达到曲线的另一端，即在最大化存储效率的前提下最小化修复带宽。再生码还可分为精确再生码和功能再生码。当有节点失效时，前者修复出的数据块与失效节点上丢失的数据块完全相同，而后者则可能不同，仅能保持MDS和MBR/MSR的特性。

目前已有的典型的精确修复MSR码包括乘积矩阵(Product Matrix，PM)码和干扰消除(Interference Alignment，IA)码。遗憾的是，原始版本的这两种编码只解决了对单个失效节点的修复问题。在实际的分布式存储系统中，多个节点同时出现故障是很常见的现象，因此有必要给出多节点同步修复的解决方案。在这方面已有的研究成果包括协作式同时修复策略。这种策略的特点是替换失效节点的多个新节点在恢复数据时不仅从未失效的节点上下载数据，还在彼此之间交换数据，以此来达到同时重建多个数据块的目的。采用这种方式能够降低总体的修复带宽，甚至能达到理论的下限。然而节点间的协同实现复杂度较高，而且还会增加修复所需的时间和开销。

还有的研究者提出了一种能够用于PM码和IA码的多数据块联合修复方法，该方法不需要新节点间的协作，但是需要求解很大的方程，因此实用复杂度也比较高。

发明内容

本申请提供一种使用基于干扰消除的最小存储再生码的分布式存储系统的数据同步修复方法，主要解决的技术问题是，提供一种分布式存储系统的数据修复方法，能够对分布式存储系统中的多个失效节点进行同步修复。在该修复方法中，将存储节点分为系统节点和校验节点，则实际修复的节点即待修复节点包括全部失效的系统节点和全部或部分失效的校验节点。

数据修复的过程包括如下步骤：

步骤1：从正常节点中选择辅助节点，基于待修复节点列表中失效节点的分布情况，辅助节点将编码得到的辅助数据子块和/或自己存储的数据子块发送给再生节点；