[发明专利]一种基于纠删码的条带合并方法及系统

说明书

本发明提供一种基于纠删码的条带合并方法及系统，首先通过StripeMerge‑P算法基于预处理的哈希表确定纠删码条带校验块的对齐信息，通过贪心策略选择要合并的纠删码条带对进行合并，通过哈希表可以直接查找校验块位置信息，不需要额外增加计算开销，且结合贪心策略更加减少挑选合并纠删码条带对的开销。且相比直接采用StripeMerge‑G算法两两计算任意两个纠删码条带对的合并开销对比的方式，本发明先通过StripeMerge‑P算法以相对较小的计算开销挑选合并开销相对较少的纠删码条带对，然后再在剩余纠删码条带中采用StripeMerge‑G算法挑选合并的纠删码条带对，保证整体的计算开销和合并开销都相对较小，降低了纠删码条带合并过程中的计算开销。

技术领域

本发明属于计算机存储领域，更具体地，涉及一种基于纠删码的条带合并方法及系统。

背景技术

纠删码已广泛部署在现代大规模存储系统中，通过存储数据块和校验块来实现高效存储的容错。纠删码种类很多，Reed-Solonon码最受欢迎并已经被广泛应用于工业界。在实践中，大规模存储系统会存储多个条带，这些条带独立编码并分布在不同的k+m个节点集上。此外，每个块通常配置为大尺寸，例如，64MiB或256MiB，以减轻I/O开销。最近，企业探索了大条带的概念，以抑制每个条带中校验块的比例，以实现极大的存储节省。然而，如何以更小的开销生成大条带仍然是一个重要的问题。特别是，将当前存储的纠删码条带(称为小条带)重新编码为大条带会在为大条带重新放置数据块和重新生成校验块时触发大量带宽开销。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种基于纠删码的条带合并方法及系统，旨在解决现有技术将纠删码条带重新编码合并为大条带时会触发大量宽带开销的问题。

为实现上述目的，第一方面，本发明提供了一种基于纠删码的条带合并方法，包括如下步骤：

S1，对若干个纠删码条带进行预处理，确定每个纠删码条带校验块的存放位置，并构建哈希表；所述哈希表指示各个纠删码条带校验块的位置和各个纠删码条带的编号；

S2，基于所述哈希表确定若干个纠删码条带中与某一个纠删码条带校验块位置全部对齐和部分对齐的纠删码条带的集合，在所述纠删码条带集合中选取与所述某一个纠删码条带合并开销相对较小的纠删码条带，将选取的纠删码条带与所述某一个纠删码条带合并，生成合并后的条带；

S3，在所述若干个纠删码条带中删除选取的纠删码条带和所述某一个纠删码条带，得到更新的若干个纠删码条带；

S4，重复执行步骤S2和步骤S3，当无法选取出可以合并的两个纠删码条带时，执行步骤S5；

S5，在所述步骤S3得到的更新的若干个纠删码条带中，计算任意两个纠删码条带组成的纠删码条带对的合并开销；

S6，在所有纠删码条带对中选取合并开销最低的纠删码条带对，并将选取的纠删码条带对合并，生成合并后的条带；

S7，在所有纠删码条带对中删除与步骤S6选取的纠删码条带对相关的纠删码条带对，得到新的所有纠删码条带对；所述与步骤S6选取的纠删码条带对相关的纠删码条带对指的是含有步骤S6选取的纠删码条带对中之一纠删码条带的纠删码条带对；

S8，重复执行步骤S6和步骤S7，直至步骤S7得到的所有纠删码条带对为空。

在一个可选的示例中，所述步骤S2中，在所述纠删码条带集合中选取与所述某一个纠删码条带合并开销相对较小的纠删码条带，具体为：

当所述纠删码条带集合中包括校验块位置与所述某一个纠删码条带校验块位置全部对齐的纠删码条带时，从对齐的纠删码条带中选取合并开销最小或合并开销小于阈值的一个纠删码条带；