[发明专利]一种基于shadow的部分重复码构造方法

说明书

本发明公开了一种基于shadow的部分重复码构造方法，包括以下步骤：步骤1：将原始文件M分成k个原始数据块，对k个原始数据块进行(n,k)MDS编码得到n个编码数据块；步骤2：根据编码数据块的个数n构建集合X和集合ψ，其中，集合X包括n个不同元素，集合ψ包括t个子集φ，所述子集φ为集合X的(d+1)元子集，子集φ包含(d+1)个元素且每个子集φ内没有相同的元素；步骤3：获得集合ψ的影子集合其中，影子集合包括t组子影子集合，每组子影子集合包含(d+1)个集合φ'，集合φ'包含d个元素，集合φ'由删除子集φ中任一个元素后其余元素组成；步骤4：根据影子集合构造FR码。本发明构造出的FR码修复局部性较低且不会随着系统参数增加而增加，同时，可以根据系统需要选择合适的节点存储容量以及数据重复度。

技术领域

本发明属于计算机领域，具体涉及一种基于shadow的部分重复码构造方法。

背景技术

随着技术的进步，越来越多数据需要存储，但是传统的存储系统已无法满足海量的数据存储，可以大量存储数据的分布式存储系统应运而生。在分布式存储系统中，经常存在数据的丢失，所以需要一些方法来保证数据的可靠性，一般会采用“复制”和“纠删码”技术。但是复制策略所占据的存储开销较大，纠删码修复较为复杂，在修复过程中需要下载整个文件进行修复，所需较大的修复带宽开销。于是Rouayheb和Ramchandran于2010年提出一种精确修复的部分重复(Fractional Repetition，FR)码。FR码能容忍多故障节点的精确无编码修复，其修复带宽开销和计算复杂度较小，故障节点修复性能大大提升。FR码的构造方法现有许多，如利用Steiner系、成对平衡设计等方法构造FR码。

现有FR码构造中大都无法调整系统参数，如运用正则图构造部分重复码，其重复度不可改变且只能修复单节点故障。Prajapati提出一种具有环形结构的部分重复码，无法根据系统需求及时地调整参数。基于可分组设计的FR码，可以根据系统需要选择合适的存储容量或重复度，但是其修复局部性会随着参数增大而增大。

发明内容

本发明的目的在于提供一种基于shadow的部分重复码构造方法，用以解决现有技术中的无法根据系统需求改变存储容量、重复度以及修复局部性较大的问题。

为了实现上述任务，本发明采用以下技术方案：

一种基于shadow的部分重复码构造方法，包括以下步骤：

步骤1：将原始文件M分成k个原始数据块，对k个原始数据块进行(n,k)MDS编码得到n个编码数据块，其中，k≥2且n≥k；

步骤2：根据编码数据块的个数n构建集合X和集合ψ，其中，集合X包括n个不同元素，集合ψ包括t个子集φ，所述子集φ为集合X的(d+1)元子集，子集φ包含(d+1)个元素且每个子集φ内没有相同的元素，其中，d为正整数且(d+1)n；

步骤3：获得集合ψ的影子集合其中，影子集合包括t组子影子集合，每组子影子集合包含(d+1)个集合φ'，集合φ'包含d个元素，集合φ'由删除子集φ中任一个元素后其余元素组成；

步骤4：根据影子集合构造FR码，包括三种情况：

情况一：若构造同构FR码，则所述同构FR码的每个节点对应影子集合的每个集合φ'，所述同构FR码的节点个数为t×(d+1)，所述同构FR码的节点存储容量为d，所述同构FR码的重复度为d，所述同构FR码的每个节点存储的数据块为对应集合包含的元素；

情况二：若构造重复度异构FR码，则删除中每组子影子集合中的任一个集合φ'，得到删减后的影子集合删减后的影子集合包括t组子影子集合，每组子影子集合包含d个集合φ'；