[发明专利]一种降低数据更新代价的纠删码编码及数据重构方法

说明书

本发明公开了一种降低数据更新代价的纠删码编码及数据重构方法，为每个编码条带增加一个额外的对角线校验位，并设计各对角线校验位的编码规则，消除阵列纠删码中各校验位间存在的依赖关系，减少与每个原始数据位相关联的校验位个数，降低阵列纠删码在原始数据更新时引起的相关校验位更新代价；分别对单盘故障或双盘故障情况下的数据进行重构，在少于两个数据或校验盘故障时完成失效数据的恢复，实现数据容错的功能。本发明通过增加少量校验位的存储开销，拥有了更高的数据编码、数据重构速度，而且降低了纠删码系统在数据更新时对校验盘的额外更新代价，有利于减缓新型NVM/SSD等高速存储设备的磨损。

技术领域

本发明属于计算机存储系统技术领域，具体涉及一种降低数据更新代价的纠 删码编码及数据重构方法。

背景技术

RS、RDP等纠删码能够容忍多个磁盘同时发生故障，通常被用于保障RAID、 分布式存储等系统的可靠性和持久性。不同于传统副本容错技术保存原始数据的 多个镜像副本，纠删码编码技术会对原始数据进行编码，得到多份冗余校验数据 并将其和原始数据一同保存。当原始数据丢失时，通过读取剩余健康的原始数据 和校验数据，并利用相应的数据重构方法来解码恢复失效数据。

纠删码在编码时先以条带为单位划分原始数据，其中每个条带包含固定大小 的k个数据块，通常同一条带上的各数据块被存放在不同磁盘以支持数据的并发 访问、提高系统性能。针对每一个条带，纠删码可使用多种编码方法来计算生成 冗余校验块，用于磁盘故障后失效数据的重构。目前常用的纠删码可分为容两错 的阵列码(如RDP、EVENODD等)和容多错的RS类编码(如RS、CRS等)。 相较于RS类编码使用基于矩阵运算的编解码方法来实现容错，阵列码的编解码 过程中只执行简单的异或和运算和数据拷贝，因此，阵列码的编码速度远优于 RS类编码，受到广泛的关注和研究。

但RDP等阵列码拥有较高的数据更新代价。为了保证存储系统的数据一致 性，纠删码在执行对原始数据的更新操作时，需要同时重新编码更新相关的校验 块。而RDP、EVENODD等阵列码的编码条带中一个数据位会参与2到3个校验 位的编码过程。因此，传统阵列码更新一个原始数据位后平均会对相关的多于2 个的校验位同时更新，比如RDP码在更新一个数据位时平均会对相关的 个校验位同时更新。较高的数据更新代价不仅会影响一些写密集型存 储系统的性能提升，还会因频繁更新校验盘而降低SSD/NVM等擦写次数有限的 存储设备的使用寿命，不利于高性能SSD/NVM在存储系统的大量使用。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种降低 数据更新代价的纠删码编码及数据重构方法，相较于RDP等阵列码，仍可容忍 任意少于两个磁盘同时故障，且通过增加少量冗余校验有效地降低了数据更新代 价。

本发明采用以下技术方案：

一种降低数据更新代价的纠删码编码及数据重构方法，为每个编码条带增加 一个额外的对角线校验位，并设计各对角线校验位的编码规则，消除阵列纠删码 中各校验位间存在的依赖关系，减少与每个原始数据位相关联的校验位个数，降 低阵列纠删码在原始数据更新时引起的相关校验位更新代价；分别对单盘故障或 双盘故障情况下的数据进行重构，在少于两个数据或校验盘故障时完成失效数据 的恢复，实现数据容错的功能。

具体的，每个编码条带由一个(p-1)×(p-1)的数据阵列和一个p-1行的水平校 验列、一个p行的对角线校验列组成，p为一个大于2的质数；d_i,j表示编码条带 中第i行第j列的数据位，第p-1列的d_i,p-1为水平校验位，第p列的d_i,p为对角线 校验位。

进一步的，水平校验位d_i,p-1的编码计算规则为：

其中，0≤i≤p-2，表示d₀,d₁,...,d_k执行异或和运算的结果。