[发明专利]一种大数据应用平台下降低预测式纠删码修复的方法及装置

权利要求书

1.一种大数据应用平台下降低预测式纠删码修复的方法，其特征在于，包括：

利用磁盘预测模型分析出纠删码中即将出现故障的磁盘节点中的数据块和磁盘个数S，并将所述即将出现故障的磁盘节点划分到同一数据小组中；

根据所述即将出现故障的磁盘个数S，通过为每个数据小组生成S个局部冗余块，同时更新全局冗余块的个数，生成预测式纠删码；

在对所述预测式纠删码进行恢复时，确定实际出现故障的实际磁盘节点中的数据块和实际磁盘个数，当所述实际磁盘个数小于或等于所述预测磁盘个数时，则判断所述实际出现故障的一个或多个实际磁盘节点是否在同一数据小组中；

当判断实际出现故障的一个或多个实际磁盘节点不在同一数据小组中，则读取所述每个数据小组中未出现故障的磁盘节点中的数据块和局部冗余块，并根据所述每个数据小组中未出现故障的磁盘节点中的数据块和局部冗余块，恢复出所述每个数据小组中出现故障的一个或多个实际磁盘节点；

其中，所述S为正整数。

2.根据权利要求1所述的方法，其特征在于，所述根据所述实际出现故障的实际磁盘个数和利用磁盘预测模型分析出的预测磁盘个数进行预测式纠删码修复包括：

当所述实际磁盘个数小于或等于所述预测磁盘个数时，则判断所述实际出现故障的一个或多个实际磁盘节点是否在同一数据小组中；

当判断实际出现故障的一个或多个实际磁盘节点在同一数据小组中，则读取所述数据小组中未出现故障的磁盘节点中的数据块和局部冗余块；

根据所述数据小组中未出现故障的磁盘节点中的数据块和局部冗余块，恢复所述出现故障的一个或多个实际磁盘节点。

3.根据权利要求1所述的方法，其特征在于，所述根据所述实际出现故障的实际磁盘个数和利用磁盘预测模型分析出的预测磁盘个数进行预测式纠删码修复包括：

当所述实际磁盘个数大于所述预测磁盘个数时，则读取所有数据小组中未出现故障的磁盘节点中的数据块和全局冗余块；

根据所述所有数据小组中未出现故障的磁盘节点中的数据块和全局冗余块，恢复出所述出现故障的多个实际磁盘节点。

4.根据权利要求1-3任一所述的方法，其特征在于，在生成预测式纠删码之后，还包括为每个数据小组生成的局部冗余块进行更新的操作步骤，其包括：

在生成预测式纠删码后，利用磁盘预测模型分析出纠删码中即将出现故障的磁盘节点中的磁盘个数N；

从数据条带的所有数据小组中选取与所述出现故障的磁盘节点就近的且未出现故障磁盘节点的一个数据小组作为基组，并将所述即将出现故障的一个或多个磁盘节点划分到所述基组中；

根据所述即将出现故障的磁盘个数N，通过为每个数据小组更新N个局部冗余块，同时更新全局冗余块的个数；

其中，所述N为正整数。

5.一种大数据应用平台下降低预测式纠删码修复的装置，其特征在于，包括：

分析及划分模块，用于利用磁盘预测模型分析出纠删码中即将出现故障的磁盘节点中的数据块和磁盘个数S，并将所述即将出现故障的磁盘节点划分到同一数据小组中；

生成模块，用于根据所述即将出现故障的磁盘个数S，通过为每个数据小组生成S个局部冗余块，同时更新全局冗余块的个数，生成预测式纠删码；

恢复模块，用于在对所述预测式纠删码进行恢复时，确定实际出现故障的实际磁盘节点中的数据块和实际磁盘个数，当所述实际磁盘个数小于或等于所述预测磁盘个数时，则判断所述实际出现故障的一个或多个实际磁盘节点是否在同一数据小组中，当判断实际出现故障的一个或多个实际磁盘节点不在同一数据小组中，则读取所述每个数据小组中未出现故障的磁盘节点中的数据块和局部冗余块，以及根据所述每个数据小组中未出现故障的磁盘节点中的数据块和局部冗余块，恢复出所述每个数据小组中出现故障的一个或多个实际磁盘节点；

其中，所述S为正整数。