[发明专利]单一存储池的差量日志式纠删码更新方法

说明书

本发明涉及一种单一存储池的差量日志式纠删码更新方法，属于计算机技术领域。本发明将对数据块全覆盖更新和对校验块进行差量日志的校验部分日志的思路与PDN‑P更新方式相结合，提出了一种新的数据更新方式PDN‑PDS，相对于PDN‑P，PDN‑PDS只使用一个存储池来将数据差量日志放置在一起，既提升了校验块的更新效率也减少了读取多个更新时的磁盘寻道，节省了校验节点的存储空间。

技术领域

本发明涉及计算机技术领域，具体涉及一种单一存储池的差量日志式纠删码更新方法。

背景技术

纠删码技术已经广泛地应用到数据存储系统中来获取高容错能力，然而在数据更新性能方面存在很大负担，特别是对于数据更新操作较为频繁的分布式块存储系统。这里，首先介绍了CRS纠删码的更新原理和现有的四种常见更新方式：两种典型的纠删码更新方式(DUM和PUM)以及两种部分更新方式(PUM-P和PDN-P)。

纠删码数据更新复杂度指的是修改、更新或者重写一个数据块所影响校验块的平均数量。例如，对于CRS(6+3，3)中每个数据块被m＝3个校验块保护，所以最优的更新复杂度是3。更新复杂度会显著地影响纠删码系统的更新性能，特别是小块更新。当存储集群采用纠删码时，更新负担会很复杂，因为更新过程包括磁盘I/O、传输带宽和CPU计算。假设存储系统使用CRS(k+m，m)编码，一个数据段会分割成k个数据块，然后CRS编码方式来生成m个校验块。其中校验块的生成方式可以用图1来说明。其中，校验块

在将D_j更新为D_j′时，需要更新数据块D_j和所有的校验块P₁、P₂、…、P_m，分别更新为D_j′、P₁′、P₂′、…、P_m′，而其他的数据块都是不需要修改的。

下面介绍四种常见的数据更新方式：

(1)DUM(Data blocks by a special Updating Manager)方法。

图2展示了DUM方法的数据流，DUM的更新过程等同于数据编码过程，即更新管理器节点读取这个条带中不更新的原始数据块，和更新后的数据块一起通过柯西生成矩阵重新生成所有新的校验块。假设数据块D₁将被更新为D₁’，更新管理器通过网络读取这个条带中除D₁之外的所有数据块，并使用新数据块D₁’来重新编码。之后生成的m个新校验块P₁‘、P₂‘、…、P_m‘和新数据块D₁’并行地传输到相应的m个校验节点和D₁的数据节点。在DUM中，为更新一个数据块，需要从k-1个数据节点的磁盘上读取k-1个数据块，并向m个校验节点的磁盘上写入m个校验块和向一个数据节点写入新的数据块，同时通过网络传输m+k个块。其中，DUM中涉及运算为：

(2)PUM(Parity blocks by a special Updating Manager)方法。

对于小块更新，一个自然的想法是通过校验块和将被更新的数据块来重新生成新的校验块，这样相对DUM可以节省磁盘I/O和网络传输带宽。下面推导出PUM的理论公式，其中一个数据块D_x被修改为D_x′，则每个新的校验块为：