[发明专利]一种大数据应用平台下降低预测式纠删码修复的方法及装置

说明书

本发明公开了一种大数据应用平台下降低预测式纠删码修复的方法及装置，其方法包括：利用磁盘预测模型分析出纠删码中即将出现故障的磁盘节点中的数据块和磁盘个数S，并将所述即将出现故障的磁盘节点划分到同一数据小组中；根据所述即将出现故障的磁盘个数S，通过为每个数据小组生成S个局部冗余块，同时更新全局冗余块的个数，生成预测式纠删码；在对所述预测式纠删码进行恢复时，确定实际出现故障的实际磁盘节点中的数据块和实际磁盘个数，并根据所述实际出现故障的实际磁盘个数和利用磁盘预测模型分析出的预测磁盘个数进行预测式纠删码修复。

技术领域

本发明涉及计算机存储技术领域，特别涉及一种大数据应用平台下降低预测式纠删码修复的方法及装置。

背景技术

磁盘是当前分布式存储系统中最主要的故障来源，磁盘故障占所有故障的 78％。在1996年的时候，康博等公司提出了一套磁盘状态检测与预警系统的规范 SMART。SMART通过对磁盘硬件内的检测指令对硬盘的各个部件如马达、磁头、盘片等进行监控，并与所预设的安全值进行比较，一旦监控的值超出预设值，则发出警报。目前，有不少的研究工作在SMART数据集上建立各种预测模型，来提高故障预测的准确率。纠删码技术是通过算法将数据进行编码得到冗余数据，并将原始数据和冗余数据一起存储在分布式存储系统中。当分布式存储系统中某个节点失效数据丢失时，可以通过剩余节点的数据来恢复数原始数据，从而来达到容错的目的。目前，纠删码技术主要针对的是系统出错后，实现数据恢复，属于被动容错方式。随着大数据应用平台所使用的分布式存储系统的规模逐渐扩大，被动容错会增加系统的大量成本。

发明内容

为解决上述问题，本发明提供了一种大数据应用平台下降低预测式纠删码修复的方法及装置。

根据本发明实施例提供的一种大数据应用平台下降低预测式纠删码修复的方法，包括：

利用磁盘预测模型分析出纠删码中即将出现故障的磁盘节点中的数据块和磁盘个数S，并将所述即将出现故障的磁盘节点划分到同一数据小组中；

根据所述即将出现故障的磁盘个数S，通过为每个数据小组生成S个局部冗余块，同时更新全局冗余块的个数，生成预测式纠删码；

在对所述预测式纠删码进行恢复时，确定实际出现故障的实际磁盘节点中的数据块和实际磁盘个数，并根据所述实际出现故障的实际磁盘个数和利用磁盘预测模型分析出的预测磁盘个数进行预测式纠删码修复；

其中，所述S为正整数。

优选地，所述根据所述实际出现故障的实际磁盘个数和利用磁盘预测模型分析出的预测磁盘个数进行预测式纠删码修复包括：

当所述实际磁盘个数小于或等于所述预测磁盘个数时，则判断所述实际出现故障的一个或多个实际磁盘节点是否在同一数据小组中；

当判断实际出现故障的一个或多个实际磁盘节点在同一数据小组中，则读取所述数据小组中未出现故障的磁盘节点中的数据块和局部冗余块；

根据所述数据小组中未出现故障的磁盘节点中的数据块和局部冗余块，恢复所述出现故障的一个或多个实际磁盘节点。

优选地，所述根据所述实际出现故障的实际磁盘个数和利用磁盘预测模型分析出的预测磁盘个数进行预测式纠删码修复包括：

当所述实际磁盘个数小于或等于所述预测磁盘个数时，则判断所述实际出现故障的一个或多个实际磁盘节点是否在同一数据小组中；

当判断实际出现故障的一个或多个实际磁盘节点不在同一数据小组中，则读取所述每个数据小组中未出现故障的磁盘节点中的数据块和局部冗余块；

根据所述每个数据小组中未出现故障的磁盘节点中的数据块和局部冗余块，恢复出所述每个数据小组中出现故障的一个或多个实际磁盘节点。