[发明专利]大规模分布式存储系统中数据恢复方法及装置

权利要求书

1.一种大规模分布式存储系统中数据恢复方法，其特征在于，包括：

使用元数据服务器对存储系统的元数据进行扫描，若根据扫描结果获知故障工作节点中存在副本的数据块，将各所述数据块的恢复任务存储到所述存储系统中，使用调度器从所述存储系统中读入并等待调度各所述恢复任务；

将所述恢复任务的恢复时间划分成多个时间片，在各所述时间片开始时根据所述存储系统的带宽使用信息，确定下放的所述恢复任务的数量；

将所述存储系统中剩余带宽大于第一预设阈值且存放受损数据块的副本数量小于第二预设阈值的正常工作节点作为优选工作节点，若各所述恢复任务对应的数据块副本在所述优选工作节点中存在，则将所述优选工作节点中的一个作为该恢复任务的执行源节点；

从所述正常工作节点中选择各所述恢复任务的执行目的节点，根据所述恢复任务的下放数量、执行源节点和执行目的节点下放所述恢复任务到各所述正常工作节点，使用各所述正常工作节点执行各所述恢复任务。

2.根据权利要求1所述的方法，其特征在于，将所述存储系统中剩余带宽大于第一预设阈值且存放受损数据块的副本数量小于第二预设阈值的正常工作节点作为优选工作节点的步骤具体包括：

使用所述调度器从路由服务器获取各正常工作节点的带宽使用信息，并计算各所述正常工作节点的剩余带宽；

从所述正常工作节点中选择剩余带宽大于第一预设阈值且存放受损数据块的副本数量小于第二预设阈值的正常工作节点作为优选工作节点。

3.根据权利要求1所述的方法，其特征在于，从所述正常工作节点中选择各所述恢复任务的执行目的节点的步骤具体包括：

对于各所述恢复任务，基于动态凸包算法依次获取各所述恢复任务对应的具有最小((s+c)/a)的正常工作节点；

将具有最小((s+c)/a)的所述正常工作节点作为各所述恢复任务的执行目的节点；

其中，s表示各所述恢复任务的大小，c表示各所述正常节点已调度的恢复任务大小，a表示当前时间片下各所述正常工作节点的剩余带宽。

4.根据权利要求3所述的方法，其特征在于，基于动态凸包算法依次获取各所述恢复任务对应的具有最小((s+c)/a)的正常工作节点的步骤具体包括：

将各所述正常工作节点的(a，c)标注在二维坐标系中，将各所述恢复任务按照(0，-s)标注在所述二维坐标系中；

从(0，-s)出发获取所有(a，c)标注的下凸壳的切点，将所述切点对应的正常工作节点作为具有最小((s+c)/a)的正常工作节点；

在所述二维坐标系中，将具有最小((s+c)/a)的正常工作节点的c值加s。

5.根据权利要求1-4任一所述的方法，其特征在于，使用各所述正常工作节点执行各所述恢复任务的步骤具体包括：

将各所述恢复任务对应的数据块副本划分成多个数据片；

将各所述恢复任务对应的数据片从各所述恢复任务的执行源节点传输到各所述恢复任务的执行目的节点；其中，执行节点对通过控制各所述恢复任务正在传输的数据片数量控制各所述恢复任务的恢复速率；

当各所述恢复任务对应的各数据片成功发送后，更新各所述恢复任务对应数据块副本的恢复进度。

6.根据权利要求5所述的方法，其特征在于，还包括：

在各所述时间片结束时，获取已下放的所有所述恢复任务的恢复进度；

根据已下放的所有所述恢复任务的恢复进度，获取各所述正常工作节点未完成的恢复任务；

计算各所述正常工作节点完成各所述工作节点未完成恢复任务的时间；

若所述时间大于或等于各所述时间片的下一个时间片的时长，则按照恢复进度从小到大的顺序挑选各所述正常工作节点未完成的恢复任务进行重新调度，直到所述时间小于各所述时间片的下一个时间片的时长。

7.根据权利要求1-4任一所述的方法，其特征在于，使用各所述正常工作节点执行各所述恢复任务的步骤之后还包括：

当各所述恢复任务完成时，使用所述调度器将完成的恢复任务对应的数据块副本位置发送给所述元数据服务器。