[发明专利]模型监控方法、装置、计算机设备和存储介质

说明书

本申请涉及一种模型监控方法、装置、计算机设备和存储介质。所述方法包括：接收监控终端发送的待监控模型的模型标识和模型监控指标，所述模型监控指标为反映所述待监控模型的性能的指标；根据所述模型标识判定所述待监控模型的模型类型，并根据所述模型类型获取验证样本集，其中，所述验证样本集包含验证样本及所述验证样本的样本标签；将所述验证样本集按照预设周期输入所述待监控模型中，得到模型运行结果；比对所述模型运行结果和所述样本标签，得到与所述模型监控指标对应的指标监控值；根据所述指标监控值和预警阈值生成模型警示信息，并将所述模型警示信息发送给所述监控终端。采用本方法能够针对不同数据模型进行监控。

技术领域

本申请涉及计算机技术领域，特别是涉及一种模型监控方法、装置、计算机设备和存储介质。

背景技术

随着大数据技术的进步，在业务中使用数据模型越来越普及，数据模型指的是能够输出运行结果的模型。然而，数据模型具有衰减性，数据模型运行结果数据的能力会随着输入数据的更新而降低，因此，需要对数据模型的性能及时进行监控以实现模型的维护和更新。目前缺乏一种能够针对不同数据模型进行监控的方法。

发明内容

基于此，有必要针对上述技术问题，提供一种能够针对不同数据模型进行监控的模型监控方法、装置、计算机设备和存储介质。

一种模型监控方法，所述方法包括：

接收监控终端发送的待监控模型的模型标识和模型监控指标，所述模型监控指标为反映所述待监控模型的性能的指标；

根据所述模型标识判定所述待监控模型的模型类型，并根据所述模型类型获取验证样本集，其中，所述验证样本集包含验证样本及所述验证样本的样本标签；

将所述验证样本集按照预设周期输入所述待监控模型中，得到模型运行结果；

比对所述模型运行结果和所述样本标签，得到与所述模型监控指标对应的指标监控值；

根据所述指标监控值和预警阈值生成模型警示信息，并将所述模型警示信息发送给所述监控终端。

在其中一个实施例中，所述比对所述模型运行结果和所述样本标签，得到与所述模型监控指标对应的指标监控值，包括：

比对所述模型运行结果和所述样本标签，得到所述待监控模型的混淆矩阵，所述混淆矩阵用于比较所述模型运行结果和所述样本标签的真实信息；

根据所述混淆矩阵生成与所述模型监控指标对应的指标监控值。

在其中一个实施例中，所述比对所述模型运行结果和所述样本标签，得到与所述模型监控指标对应的指标监控值，包括：

当所述模型类型为评分模型时，统计所述模型运行结果中与所述模型监控指标对应的模型指标参数，并统计所述样本标签与所述模型监控指标对应的样本指标参数；

根据所述模型指标参数和所述样本指标参数计算与所述模型监控指标对应的指标监控值。

在其中一个实施例中，所述根据所述模型指标参数和所述样本指标参数计算与所述模型监控指标对应的指标监控值，还包括：

采用正态分布检验或者基尼系数，根据所述模型指标参数和所述样本指标参数计算与所述模型监控指标对应的指标监控值。

在其中一个实施例中，所述根据所述指标监控值和预警阈值生成模型警示信息，包括：

获取待监控模型的准确率和所述模型监控指标的预警阈值；

根据所述准确率的精确度和所述预警阈值的精度调整所述预警阈值；

根据调整后的预警阈值和所述指标监控值进行比对，生成模型警示信息。