[发明专利]一种基于写重定向的纠删码存储重构优化方法

说明书

技术领域

本发明属于计算机存储领域，更具体地，涉及一种基于写重定向的纠删码存储重构优化方法。

背景技术

廉价冗余磁盘阵列RAID（Redundant Array of Independent Disk）是将多个磁盘进行连接，构成具有一定容错能力的存储设备。构成RAID的多个磁盘驱动器在逻辑上可以看成是一个磁盘驱动器，各个磁盘可以同时工作，提高I/O并行性。RAID大多提供一定的校验技术，在一定数量的磁盘数据丢失的情况下，解码出丢失数据，达到容错的目的。一般地，数据恢复操作和用户I/O相互影响。一方面，在丢失数据恢复的过程中，磁盘阵列的读写性能将降低；另一方面，相对于离线重构模式，在线重构的时间也将增加，原因在于用户I/O对磁盘、网络和内存等资源的竞争。另外，研究表明，RAID系统中的磁盘错误存在“爆发”式特性，即当一个磁盘失效后，同一系统中的其它磁盘失效的概率将增大；此外，在高负载强度的重构过程中，存活磁盘发生失效的概率将进一步提高。

如图1所示，在（k+r，k）纠删码存储集群中，含k个数据节点，r个校验节点。集群内数据分布示意图如图2所示。失效写（Missed Writes）表示往失效数据节点中写入数据。参看图3，失效写的传统处理过程如下：（1）接收用户写数据请求，得到所写分块数据在纠删码集群的具体位置（即某数据节点上的某偏移地址）和所写入数据（以下称为新数据）；（2）将新数据写入替代数据节点的相应磁盘位置；（3）从k-1个存活节点读取所对应的分块数据；（4）由该k-1个存活分块数据和新数据分块计算出其余r个节点对应位置分块数据，并发送至r个节点，该r个节点完成数据更新；（5）返回更新操作的结果（成功或失效）。图4给出该传统纠删码存储集群中数据写的流程图。

传统纠删码存储集群中的写失效数据过程存在以下问题：

1、写失效数据节点过程与失效数据重构过程同时进行，两个过程之间相互竞争网络带宽、磁盘、内存等资源，重构时间随之增加，从而降低了系统可靠性。

2、用户的写请求涉及失效数据恢复、新数据写入，以及校验数据更新等三方面操作，因此用户写请求的响应时间也会增大。

发明内容

针对传统失效写方法存在的不足，本发明提供一种纠删码存储中写失效数据节点的优化方法，其不仅能够保证失效数据节点的重构性能，而且能降低用户失效写的响应时间。

为实现以上发明目的，本发明采用以下技术方案：

一种基于写重定向的纠删码存储重构优化方法，包括数据重定向过程和数据迁移过程。

重定向过程包括以下步骤：

(A1)接收用户写失效数据节点的用户请求记录；

(A2)将用户请求记录写入空余RS阵列数据区；

(A3)更新空余RS阵列校验区域；

(A4)返回用户写失效数据节点请求结果，判断用户请求是否结束，如果结束，则程序结束，否则转入步骤（A1）。

数据迁移过程与重定向过程分开处理。数据迁移过程包括失效数据节点的重构、重定向数据的迁移，以及迁移数据所导致的校验更新三个子过程。重定向数据迁移过程包括以下步骤：

(B1)判断纠删码存储集群中失效数据节点数据是否恢复完成。若恢复完成，则转入步骤（B6），否则转入步骤（B2）；

(B2)假设写入失效数据节点node的失效数据块是D_i，j，记录其偏移地址为offset；

(B3)读取任意k个存活节点偏移位置为offset的数据块D_l，j（l！=i）；

(B4)从该k个存活分块数据解码出失效数据分块D_i，j；并将数据D_i，j写入数据节点node的替代节点node’中偏移地址为offset的位置；

(B5)判断失效节点的数据是否恢复完成。若没有完成，则转入至步骤（B2），否则转入步骤（B6）；

(B6)读取RS阵列中用户请求记录（包括node、offset、newdata等信息）；

(B7)从替代数据节点node’中偏移位置为offset处读取数据分块olddata；

(B8)在替代节点node’中偏移位置为offset处写入新数据分块newdata；

(B9)将新旧数据分块（olddata和newdata）发送至各校验节点，各校验节点利用新旧数据分块结合已有校验分块，采用校验数据更新算法实现校验数据的更新；