[发明专利]一种基于Pyramid码的局部性修复编码方法

说明书

本发明公开了一种基于Pyramid码的局部性修复编码方法，将Pyramid码的最小编码结构C作为基本编码结构，把分布式存储系统的存储节点根据Pyramid码的最小编码结构所需存储节点数进行分组。同时，本发明还公开了一种基于Pyramid码的局部性修复编码方法修复故障存储节点的方法。在本发明构造的基于Pyramid码的局部性修复编码结构中，局部修复组内存储节点的校验块全部由局部修复组内存储的数据块进行局部编码生成，基于此编码结构，当局部修复组中存在单节点和两节点故障时，都只需要通过连接局部修复组内有限的存活节点快速实现局部修复组内故障节点的数据重构，恢复出故障存储节点数据。

技术领域

本发明属于计算机领域，涉及一种基于Pyramid码的局部性修复编码方法。

背景技术

当前分布式存储系统通常采用纠删码提高存储可靠性，其中最大距离可分(Maximum Distance Separable,MDS)码，在确保系统可靠性的同时，能提高系统的存储效率。然而，纠删码在修复故障节点时需要下载整个文件大小的数据量，修复带宽开销过大。为了降低传统纠删码的修复带宽开销，Dimakis等人提出了再生码，显著降低了故障节点的修复带宽开销。通过对修复带宽和存储开销进行分析，Dimakis等人于2010年又提出了最小存储再生(Minimum Storage Regeneration,MSR)码和最小带宽再生(Minimum BandwidthRegeneration,MBR)码。简单再生码(Simple Regenerating Codes)以较高的存储开销为代价，在修复单节点故障时具有较好的修复局部性，但没有进一步考虑多故障节点的修复。MSR码和MBR码在修复故障节点时，只关注了修复带宽开销和存储开销，没有考虑磁盘存储开销，不适用于云存储系统。

云存储系统中两个或多个节点同时发生故障的概率很大，已有的SRC和LRC在修复一个节点故障时具有很好的修复局部性，但是在修复两个或多个故障节点时需要连接多个存活节点，磁盘I/O开销较高。

发明内容

针对上述现有技术中存在的缺陷或不足，本发明的目的在于，提供一种基于Pyramid码的局部性修复编码方法，该方法可以降低故障节点修复过程中的磁盘I/O开销，且具有较优的节点存储开销。

为了实现上述目的，本发明采用如下技术方案：

一种基于Pyramid码的局部性修复编码方法，具体包括以下步骤：

分布式存储系统中存储节点数目众多，设其中有n个存储节点存储数据块，将每8个存储节点作为一个最小编码结构C，每个最小编码结构C视为一个局部修复组，则C＝D·G，D＝[d₁₁,d₁₂,...,d_ij,...,d_tj]，d_ij为第i个局部修复组存储的j个数据块，i表示第i个局部修复组，i≤t，j表示局部修复组内存储的数据块数目，1≤j≤4且为整数，G＝[I|P]表示生成C所需的生成矩阵，其中I为单位矩阵，P为子矩阵，

其中g₁₂、g₁₃、g₂₁、g₂₄、g₃₁、g₃₄、g₄₂和g₄₃为Pyramid码的编码系数，且各列之间g线性独立，保证子矩阵P满秩，所述校验块为数据块经过生成矩阵G线性编码生成；

根据Pyramid码编码方式和鲁棒性得到Pyramid码的最小编码结构C，将所述Pyramid码的最小编码结构C作为基本编码结构，把分布式存储系统的存储节点根据Pyramid码的最小编码结构所需存储节点数进行分组。若存储节点个数n刚好能被8整除，则直接在每个局部修复组内采用Pyramid码进行编码；若存储节点个数n不能被8整除，则将最后一组存储节点和不能整除所得余数放在一组并采用MDS码进行编码。