[发明专利]模型故障检测方法、装置、计算机设备以及存储介质

说明书

本申请涉及机架运维的软件监控领域，具体涉及一种模型故障检测方法、装置、计算机设备和存储介质。方法包括：获取待评价模型的稳定性指标和正确性指标和所述待评价模型中模型变量的稳定性指标和正确性指标；根据待评价模型和所述模型变量的稳定性指标和正确性指标与预设模糊判断矩阵，获得模型评分；获取模型评分权重参数；根据所述模型评分与所述模型评分权重参数获取模型综合评分，当模型综合评分低于预设阈值时，判定模型出现故障。本申请的模型评价通过综合考虑模型的稳定性与正确性、变量的稳定性与正确性等多种参数获取模型总体健康度的评分。同时基于该综合评价体系输出模型健康度综合评价结果，进而判断模型是否处于正常状态。

技术领域

本申请涉及计算机技术领域，特别是涉及一种模型故障检测方法、装置、计算机设备以及存储介质。

背景技术

模型是指通过主观意识借助实体或者虚拟表现构成客观阐述形态结构的一种表达目的的物件(物件并不等于物体，不局限于实体与虚拟、不限于平面与立体)。对研究的实体进行必要的简化，并用适当的变现形式或规则把它的主要特征描述出来。所得到的系统模仿品称之为模型。

而线上模型主要包括了机器学习模型以及统计模型，业内对线上模型运行状态的评估主要是通过周期性的观察模型评分与变量分布，计算PSI(population stabilityindex)指标，当PSI大于某一阈值时，认为不稳定，或者周期性的利用新样本计算模型以及变量的KS(Kolmogorov-Smirnov，模型风险区分能力评分)，当KS低于某一阈值时，认为失效。但是上述方法缺乏综合的健康度评价指标，而是从模型以及变量的PSI、KS独立进行指标计算，无法综合各方因素回答模型的健康度到底如何。

发明内容

基于此，有必要针对上述技术问题，提供一种可以综合各种因素对模型故障进行检测的模型故障检测方法、装置、计算机设备以及存储介质。

一种模型故障检测方法，所述方法包括：

获取待评价模型的稳定性指标和正确性指标和所述待评价模型中模型变量的稳定性指标和正确性指标；

根据待评价模型和所述模型变量的稳定性指标和正确性指标与预设模糊判断矩阵，获得模型评分，所述模型评分包括模型稳定性评分、模型正确性评分、变量稳定性评分以及变量正确性评分；

获取模型评分权重参数，所述模型评分权重参数包括模型稳定性评分的权重参数、模型正确性评分的权重参数、变量稳定性评分的权重参数、变量正确性评分的权重参数；

根据所述模型评分与所述模型评分权重参数获取所述待评价模型的模型综合评分，当模型综合评分低于预设模型综合评分阈值时，判定所述待评价模型出现故障。

在其中一个实施例中，所述根据待评价模型和所述模型变量的稳定性指标和正确性指标与预设模糊判断矩阵，获得模型评分之前还包括：

获取模型变量以及所述模型变量的权重参数；

根据所述模型变量以及所述模型变量的权重参数建立预设模糊判断矩阵。

在其中一个实施例中，所述获取模型变量以及所述模型变量的权重参数具体包括：

获取模型变量，对所述模型变量进行两两比较，获取模型变量在所述待评价模型中的贡献度；

根据专家经验法对所述模型变量进行分析，获得模型变量的专家评分；

根据所述贡献度以及所述专家评分确定模型变量的权重参数。

在其中一个实施例中，所述根据待评价模型的稳定性指标和正确性指标和所述模型变量的稳定性指标和正确性指标与预设模糊判断矩阵，获得模型评分具体包括：

根据待评价模型的稳定性指标和正确性指标和所述模型变量的稳定性指标和正确性指标构建成对比较矩阵；