[发明专利]一种硬盘故障预测模型解释方法及装置

说明书

本发明公开一种硬盘故障预测模型解释方法及装置，将对硬盘的实时监测数据输入训练好的预测模型进行预测；若预测结果显示硬盘为风险盘，则将预测结果载入SHAP包进行模型解释；将模型解释结果进行显示。本发明将风险盘的模型预测结果载入SHAP包进行模型解释，得到解释结果进行显示。进行解释时，通过SHAP分析、特征贡献度合并、分值转换，增强模型的可解释性，为系统管理员进一步决策提供更直观的参考。

技术领域

本发明涉及故障解释领域，具体涉及一种硬盘故障预测模型解释方法及装置。

背景技术

在大规模数据中心中，硬盘使用规模已经达到百万级别。盘类故障问题频发，会导致服务器甚至整个IT基础设施稳定性、可靠性的下降，最终对业务SLA带来负面影响。因此，工业界和学术界开展了很多关于硬盘故障预测相关的工作。最主要的方法就是采用机器学习进行模型训练，并将模型应用于线上预测。

作为数据科学家需要防止模型存在偏见，且帮助决策者理解如何正确地使用模型。越是严苛的场景，越需要模型提供证明它们是如何运作且避免错误的证据，因此可解释机器学习慢慢成为了机器学习的重要研究方向。

关于模型解释性，除了线性模型和决策树这种天生就有很好解释性的模型以外，sklean(Scikit-learn(sklearn，是机器学习中常用的第三方模块)中有很多模型都有importance这一接口，可以查看特征的重要性。其实这已经含沙射影地体现了模型解释性的理念。只不过传统的importance的计算方法其实有很多争议，且并不总是一致。

SHAP是Python开发的一个模型解释包，可以解释任何机器学习模型的输出。其名称来源于SHapley Additive exPlanation，在合作博弈论的启发下SHAP构建一个加性的解释模型，所有的特征都视为“贡献者”。对于每个预测样本，模型都产生一个预测值，SHAPvalue就是该样本中每个特征所分配到的数值。

硬盘故障预测领域，预测结果需要知道系统管理员进行服务器迁移、硬盘替换等操作，对误报的代价非常敏感，因此对模型的可解释性的需求很高。而SHAP作为一个模型解释开发包，只提供通用的基础模型解释功能，不会对硬盘故障预测领域模型进行专门的优化。因此，提升硬盘故障预测模型的可解释性很有必要。

发明内容

为解决上述问题，本发明提供一种硬盘故障预测模型解释方法及装置，可提升硬盘故障预测模型的可解释性。

本发明的技术方案是：一种硬盘故障预测模型解释方法，包括以下步骤：

将对硬盘的实时监测数据输入训练好的预测模型进行预测；

若预测结果显示硬盘为风险盘，则将预测结果载入SHAP包进行模型解释；

将模型解释结果进行显示。

进一步地，将对硬盘的实时监测数据输入训练好的预测模型进行预测前，包括以下步骤：

对硬盘的实时检测数据进行数据预处理；

数据预处理包括数据清洗、时序特征提取和数据归一化处理。

进一步地，获取训练好的预测模型包括以下步骤：

对训练历史数据及故障标记进行数据预处理；

将处理后数据进行模型训练，获得预测模型并保存；

其中数据预处理包括数据清洗、时序特征提取和数据归一化处理。

进一步地，在对硬盘的实时监测数据进行预测阶段和训练预测模型阶段，进行时序特征提取时，将原始时序特征按照不同时间窗口提取为新的时序特征；

新的时序特征数量＝原始时序特征数量*特征提取窗口数量*特征提取方法数量。