[发明专利]分布式存储中纠删码非对齐数据更新方法

说明书

本发明公开了一种分布式存储中纠删码非对齐数据更新方法，在保证数据容错一致性以及数据可恢复的前提下，可实现纠删码数据的基本更新，并可实现纠删码数据的非对齐增量更新，接收用户发出的数据D₀的更新，将纠删码数据块数据直接更新在原有数据块上，将数据D₀更新所产生的纠删码校验块数据的更新以校验块数据更新增量Δ₀的形式直接追加到校验块数据之后的预留空间中，对于纠删码数据更新时数据块的非对齐部分，将非对齐部分的数据块D’直接追加在原始数据块之后，并将非对齐部分按特定编码系数编码追加到所更新的校验块之后，以实现纠删码的非对齐数据更新。本发明所解决的是分布式存储中纠删码大规模使用的瓶颈之一。

技术领域

本发明属于分布式存储领域，更具体的，涉及分布式纠删码存储系统的一种非对齐纠删码数据更新方法。

背景技术

副本策略和纠删码是分布式存储领域常见的两种数据冗余技术。相比于副本策略，纠删码具有更高的磁盘利用率。例如Reed-Solomon码是一种常见的纠删码。多副本策略即将数据存储多个副本(一般是三副本，比如HDFS)，当某个副本丢失时，可以通过其他副本复制回来，然而三副本的空间利用率为1/3。

纠删码技术主要是通过纠删码算法将原始的数据进行编码得到冗余，并将数据和冗余一并存储起来，以达到容错的目的。其基本思想是将n块原始的数据元素通过纠删编码矩阵计算，得到m块冗余元素(校验块)，其中由n个数据块与m个校验块组成的集合称为条带。对于这n+m块的元素，当其中任意的m块元素出错(包括原始数据和冗余数据)时，均可以通过对应的重构算法恢复出原来的n块数据。生成校验的过程被称为编码(encoding)，恢复丢失数据块的过程被称为解码(decoding)。磁盘利用率为n/(n+m)。基于纠删码的方法与多副本方法相比具有冗余度低、磁盘利用率高等优点，成为分布式存储系统的一大主流。

然而现有的分布式纠删码存储相比三副本存储存在很多问题，其中纠删码的数据更新不够灵活是一大主要问题。其主要有以下原因：纠删码数据在编码产生校验块时需要将原始数据数据按照条带中固定的数据块大小进行切分，然后才能使用相应的编码矩阵对切分好的数据块进行编码产生校验块。在分布式存储系统中这些严格切分的数据块与校验块会被分别存储在多块磁盘乃至多台机器中，变得分散且不连续，数据更新往往会涉及系统中多台机器上的数据更新。另外，在进行纠删码数据更新时需要同时更新纠删码校验块，以保证数据的容错一致性。因此目前纠删码上的数据更新比较困难，需要严格规范化更新数据块的大小，极度不灵活，且目前尚无有效办法解决纠删码上的非对齐数据更新。

发明内容

针对现有分布式纠删码存储中存在数据更新不够灵活的缺陷，本发明的目的在于提出一种分布式存储中纠删码非对齐数据更新方法，本发明针对分布式纠删码存储系统的非对齐数据更新，其能够实现纠删码上的任意长度灵活数据更新，而不用受限于纠删码数据按特定块大小对齐与数据多节点分散不连续所带来的问题，同时保证了纠删码数据在容错上的一致性，从而解决分布式纠删码存储系统上数据更新难且不够灵活的问题，使分布式纠删码存储系统能够做到灵活任意的数据更新。

为实现上述目的，本发明采用如下技术方案：

分布式存储中纠删码非对齐数据更新方法，包括以下步骤：

S1，分布式存储集群中主节点按照纠删码条带分块的大小将与原始数据D₀相对应部分P_head+ΔP_head到P_tail-ΔP_tail的待更新数据进行等量切分，得到数据段1，并按照S2～S4进行更新，将ΔP_head与ΔP_tail部分按照步骤S5进行更新，ΔP_head与ΔP_tail部分记为数据段2；