[发明专利]基于时序特征处理与模型优化的磁盘故障预测方法和系统

说明书

本发明公开了一种基于时序特征处理与模型优化的磁盘故障预测方法，其特征在于，包括步骤：获取磁盘的SMART属性数据、以及SMART属性数据的时间戳，根据获取的磁盘的SMART属性数据的标准值和原始值、以及SMART属性数据的时间戳获取扩充数据，使用主成分分析法从扩充数据、以及SMART属性数据的标准值和原始值中选择多个特征，构成多维矩阵，将得到的多维矩阵输入训练好的随机森林模型中，以得到磁盘的故障预测结果，根据得到的磁盘的故障预测结果对随机森林模型进行更新，以得到更新后的随机森林模型。本发明利用时序特征处理与模型优化，由此解决现有SMART技术中由于没有考虑SMART属性之间的关联关系，从而会导致磁盘故障预测的准确率较低的技术问题。

技术领域

本发明属于存储技术领域，更具体地，涉及一种基于时序特征处理与模型优化的磁盘故障预测方法和系统。

背景技术

根据微软公司的统计，在其数据中心中，磁盘故障占了所有硬件损坏的78％。导致磁盘故障、从而影响磁盘可靠性的因素非常多，包括磁盘温度、湿度、负载高低、运行时间、潜在扇区错误故障等，这些因素都可能导致磁盘异常，并造成记录的用户数据丢失。

为了解决上述问题，近些年，人们提出了利用磁盘的自我监测、分析和报告(Self-Monitoring,Analysis and Reporting Technology，简称SMART)技术来主动预测磁盘故障，该技术监控磁盘中重要的健康属性指标并记录，同时为每个指标设定健康阈值；如果有指标低于阈值，则认为磁盘可能发生故障并发出预警信息给操作系统或用户，系统收到预警信息后可提前迁移或备份该磁盘的数据。目前，几乎所有的磁盘都支持SMART技术，

然而，现有的SMART技术都是采用基于阈值的简单算法，并没有考虑SMART属性之间的关联关系，从而会导致磁盘故障预测的准确率较低；此外，它是基于属性实时数据进行磁盘健康预警，并没有考虑到海量历史数据的特征分析，因此不能有效地实时追踪最新发生损坏的磁盘。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于时序特征处理与模型优化的磁盘故障预测方法和系统，其目的在于，利用时序特征处理与模型优化，由此解决现有SMART技术中由于没有考虑SMART属性之间的关联关系，从而会导致磁盘故障预测的准确率较低的技术问题，以及由于没有考虑到海量历史数据的特征分析，因此不能有效地实时追踪最新发生损坏的磁盘的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于时序特征处理与模型优化的磁盘故障预测方法，包括以下步骤：

(1)获取磁盘的SMART属性数据、以及SMART属性数据的时间戳；

(2)根据步骤(1)中获取的磁盘的SMART属性数据的标准值和原始值、以及SMART属性数据的时间戳获取扩充数据，使用主成分分析法从扩充数据、以及SMART属性数据的标准值和原始值中选择多个特征，构成多维矩阵；

(3)将步骤(2)中得到的多维矩阵输入训练好的随机森林模型中，以得到磁盘的故障预测结果；

(4)根据步骤(3)中得到的磁盘的故障预测结果对随机森林模型进行更新，以得到更新后的随机森林模型。

优选地，扩充数据包括SMART属性数据的标准值的变化量、以及原始值的变化量。

优选地，步骤(3)中的随机森林模型是通过以下步骤训练得到的：

(3-1)根据磁盘的SMART属性数据的标准值和原始值、以及SMART属性数据的时间戳获取扩充数据，使用主成分分析法从扩充数据、以及SMART属性数据的标准值和原始值中选择多个特征，构成多维矩阵，将多维矩阵分成训练数据集、验证数据集、以及测试数据集；