[发明专利]一种适用于RS码数据修复的流水线修复方法

说明书

一种适用于RS码数据修复的流水线修复方法，所述方法包括修复路径选择和流水线修复方案。整个流水线修复包括以下步骤：（1）通过可达节点，以及边和带宽来确定图形G；（2）使用图形G，算出一条个节点最优的修复路径；（3）开始构造修复流水线；（4）数据修复，按照流水线修复模型划分修复子块。本发明可保证数据修复时，节点接收、发送、计算数据均衡，且流水线修复的路线不用频繁更换。当k非常大的时候，在保证负载均衡的前提下，现有的流水线很难在数据切分的数量上取得一个合理的值，而本发明可以大大降低选择的难度，因为本发明每组修复都是均衡的。

技术领域

本发明涉及一种适用于RS码数据修复的流水线修复方法，属纠删码技术领域。

背景技术

分布式系统中的网络带宽、CUP、磁盘I/O等资源是有限且稀缺的，这些资源都时刻影响着纠删码的使用效率，纠删码的修复性能不高意味着数据的可用性受到限制，对于随时就有节点发生故障的分布式系统来说，修复速率直接影整个系统的可靠性。分布式系统中数据的可用性和及时性是非常重要的，需要以最快的速度修复失效数据以保证系统的可靠性。纠删码进行数据修复时间包括数据传输时间、磁盘I/O时间以及计算时间，其中数据传输时间占的比例最多，高达94％。

本发明可以应用于RS码单节点失效的数据修复过程，目的是提高RS码数据修复效率。为充分利用节点的上下行带宽，通过对修复块进行切分，多个修复子操作之间可以并行执行，进而采用流水线修复方式，达到并行修复的目的，从而达到快速的数据修复。

发明内容

本发明的目的是，为了提高RS码数据修复效率，达到快速的数据修复，提出一种适用于RS码数据修复的流水线修复方法。

本发明实现的技术方案如下，一种适用于RS码数据修复的流水线修复方法，所述方法包括修复路径选择和流水线修复方案；

所述修复路径选择如下：

流水线修改模型表示为：G＝{V,E,W}；

其中，V表示节点集合；E表示节点与节点连线(边)；W表示边的带宽；V＝{V_i|0≤i≤n-1}，V_i为节点，i＝0时，V₀表示新生节点，V₁-V_n-1表示帮助节点；E＝{(V_i,V_j)|0≤i，j≤n-1}，(V_i,V_j)表示存在一条从V_i到V_j的边。

修复路径选择，以除新生节点V₀、任意节点V_i为起点和终点，要求需要经过除V₀外的k个节点(包括起点)，需要找出可以使得经过的路线带宽合最大的路径；使用最小生成树算法就可以找到一条带宽合最大的路径。

所述流水线修复方案如下：

先将修复块切分为s个子块，s需要满足s整除k等于0，每个修复块B_i(1≤i≤k)等量划分成s份子块B_i，1、B_i，2、…、B_i,s，记作B_i,j(i≤j≤s)，将一次子块的传输看做一个时隙；假设修复路线为：V₁-＞V₂-＞…-＞V_k，V₁-＞V₂表示V₁向V₂传输数据，V_i为帮助修复节点(1≤i≤k)，新生节点V₀需要修复的数据为B₀＝(B_0,1B_0,2…B_0,s)。

整个流水线修复包括以下步骤：

(1)通过基本数据，包括可达节点，以及边和带宽来确定图形G；