[发明专利]一种基于SMART和性能日志的磁盘故障预测方法

说明书

本发明涉及云存储技术领域，且公开了一种基于SMART和性能日志的磁盘故障预测方法，包括：（1）收集磁盘SMART信息、性能日志数据以及外部运行条件，利用随机森林算法进行训练，获得判断磁盘故障的特征项和判断模型。该基于SMART和性能日志的磁盘故障预测方法，利用随机森林算法获得判断磁盘是否故障的模型，相比较SMART单特征项的阈值判断，该模型综合分析多个特征项，综合判断磁盘是否故障，判断的准确性更高，通过对现有磁盘的数据变化对磁盘特征项的未来变化进行预测，再带入判断模型进行判断，提前预知未来磁盘的运行情况，帮助运维人员及时备份替换硬盘，避免数据丢失，服务器宕机，减少由此带来的经济损失。

技术领域

本发明涉及云存储技术领域，具体为一种基于SMART和性能日志的磁盘故障预测方法。

背景技术

随着信息产业的发展，大量的数据不断生成，推动了数据存储服务的发展。存储系统的稳定性与服务供应商的效益密切相关，存储系统故障会给使用者造成巨大损失。确保数据不丢失，必须首先关注云存储的安全。由于云存储中磁盘的数量规模是极其庞大的，硬盘是服务器硬件故障率最高的一个部件之一，如果能提前预测到硬盘故障，就可以指导维护人员对状况进行处理，如备份数据、更换硬盘等，保证系统的正常运行，减小损失。目前，硬盘厂商基本都采用自我监测分析报告技术(S.M.A.R.T)对硬盘状态进行监测和分析，但其对故障的检测率只有3%~10%。

SMART是一种磁盘自我分析检测技术，早在90年代末就基本得到了普及;它是ATA标准规定的各磁盘厂商必须遵循的标准条件之一，也是磁盘厂商普遍采用的故障磁盘预测方法。

每一块硬盘在运行的时候都会将自身的若干参数记录下来：这些参数包括型号、容量、温度、密度、扇区、寻道时间、传输、误码率等。硬盘运行了几千小时后，很多内在的物理参数都会发生变化，某一参数超过报警阈值，则说明硬盘接近损坏。此时硬盘依然在工作，如果用户不理睬这个报警继续使用那么硬盘将变得非常不可靠，随时可能故障。

基于SMART的阈值判定方法过于简单，在实际运行环境中故障磁盘的检测率通常为3%-10%，故障磁盘检测率过低，实际预警效用不大。

SMART信息不是实时更新的，需要一段时间才可以更新，在发生故障的时间段中可能没有刷新，因此光靠SMART信息来预测磁盘故障是不够的。

发明内容

针对上述背景技术的不足，本发明提供了一种基于SMART和性能日志的磁盘故障预测方法的技术方案，通过在数据集上训练出的深度学习模型对故障进行预测，能将正确率提高到95%以上，极大提高了预测率。

本发明提供如下技术方案：一种基于SMART和性能日志的磁盘故障预测方法，包括：

（1）收集磁盘SMART信息、性能日志数据以及外部运行条件，利用随机森林算法进行训练，获得判断磁盘故障的特征项和判断模型；

（2）对所述特征项的数值和时间的函数图像进行拟合，获得每个特征项数值的变化模型库；

（3）对正常运行的磁盘的特征项数值变化曲线与所述变化模型库曲线进行对比，选择最接近的模型预测未来N时刻的特征项预测数值；

（4）将所述预测数值带入判断模型进行分析，判断N时刻磁盘是否会发生故障其故障概率；

（5）返回预测结果，给出预警信息。

优选的，获得所述特征项和判断模型后，利用递归算法获得特征项的重要程度排序，并根据特征项的重要性建立预测路径。

优选的，所述外部运行条件包括机房温度、湿度、机器密度、机房种类、任务类型和任务量。

优选的，在所述步骤（2）中，先按照特征项的的重要程度对磁盘进行分类，按照磁盘类型设置变化模型库曲线检索标签。