[发明专利]一种磁盘故障预测方法及系统

说明书

本发明提供一种磁盘故障预测方法及系统，其中方法包括：收集磁盘状态数据；所述磁盘状态数据为磁盘S.M.A.R.T.数据；将磁盘状态数据输入到训练好的磁盘故障预测器，以预测磁盘发生故障的概率；磁盘故障预测器包括具有两种不同视图的分类器，一个视图使用所述磁盘状态数据对应的特征进行磁盘故障预测，另外一个视图使用磁盘状态数据特征的差值进行磁盘故障预测；将两种不同视图的分类器预测得到的磁盘故障概率值进行加权平均，并将加权平均值作为磁盘故障预测器预测得到的磁盘发生故障的概率值。本发明结合半监督算法和主动学习算法选择的健康盘和故障盘对分类器进行训练，在不需要明确标记的情况下优先挑选有价值的样例，降低了计算开销。

技术领域

本发明属于计算机存储领域，更具体地，涉及一种磁盘故障预测方法及系统。

背景技术

随着数据中心规模的不断扩大，磁盘故障已经成为数据中心的常见事件。相较于采取被动容错的方法例如多副本和纠删码，主动预错带来的数据丢失风险最小。当前较多的研究工作是基于SMART技术展开，S.M.A.R.T.(Self-Monitoring Analysis AndReporting Technology)全称是“自我检测分析与报告技术”，目前成为一种自动监控硬盘驱动器完好状况和报告潜在问题的技术标准。

磁盘的生产厂商主要采用阈值的方式进行故障预测，只要其中的某一项指标超出设定的阈值即会警报，但磁盘制造商为避免误报带来的高额的返厂成本，因此通常将阈值设置较为保守，这导致实际使用中仅得到了3％-10％的FDR和0.1％的FAR。早期研究工作大多基于统计学方法例如秩和检测法、Reverse arrangements tests、Generalizedlikelihood ratio test和马氏距离等，尽管这些方法建模简单且预测能力有限，但适用性和适应性较强。随着人工智能的兴起，当前许多研究通过使用机器学习技术来提升预测的准确率，并取得了不错效果。例如，在中国专利文献CN107392320A中公开了一种使用机器学习预测硬盘故障的方法，通过公共数据集Blackblaze提供的多种不同磁盘模型，来选择合适的模型来训练随机森林算法，同时对历史数据进行训练建模，生成预测故障模型，提高准确率。

但这些方法大多采用离线方式进行的监督学习，这就需要事先准备好一定量的标记(Labeled)数据。当模型使用一段时间后，还需要根据情况进行再训练，以适应新到来的数据。随着数据中心规模的不断扩大导致数据量的激增，使得传统监督学习方法存在的弊端不断显现。如果依旧采用这种离线学习方式，不仅需要额外设备进行存储，而且模型的训练过程将变得十分耗时。除此之外，现实中获取到的可能是大批未标记(Unlabeled)数据，对这些数据赋予标记往往需要耗费大量的人力物力。这些问题进一步限制了监督学习的发展，进而导致大部分模型在真实场景下使用受限。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种磁盘故障预测方法及系统，旨在解决磁盘故障一直是数据中心迫切需要解决的主要问题，当前许多研究工作采用监督学习，通过大量有标记样例进行训练后预测。然而这种方式已经不再适合当前大数据环境下的磁盘故障预测任务，数据量的激增使得找到合适设备进行存储并快速处理变得不太经济，并且数据的标记过程也将变为十分繁杂的问题。

为实现上述目的，第一方面，本发明提供了一种磁盘故障预测方法，包括如下步骤：

收集磁盘状态数据；所述磁盘状态数据为磁盘S.M.A.R.T.数据；

将所述磁盘状态数据输入到训练好的磁盘故障预测器，以预测磁盘发生故障的概率；所述磁盘故障预测器包括具有两种不同视图的分类器，一个视图使用所述磁盘状态数据对应的特征进行磁盘故障预测，另外一个视图使用所述磁盘状态数据特征的差值进行磁盘故障预测；将两种不同视图的分类器预测得到的磁盘故障概率值进行加权平均，并将加权平均值作为所述磁盘故障预测器预测得到的磁盘发生故障的概率值。

在一个可选的示例中，所述磁盘故障预测器的训练过程为：