[发明专利]一种准实时计算的模型监测系统及方法

说明书

本发明公开了一种准实时计算的模型监控系统及方法，属于人工智能监控领域，解决了现有技术中无法保证模型监控的时效性、对模型的监控需要一定人力成本和时间成本的问题，其包括模型数据层，模型数据层上接模型系统，下接模型信息加工层，模型信息加工层连接有数据集市，模型信息加工层连接模型监控指标计算层，模型信息加工层连接模型监控公式计算层，模型监控公式计算层连接模型分级预警系统，模型分级预警系统将告警信息通过邮件或短信等方式发送给模型开发人员，模型开发人员根据模型预警系统的信息对模型进行优化或下线，实现了对模型的智能化实时监控，减少了人力成本和时间成本。

技术领域

本发明属于人工智能监测领域，具体属于一种准实时计算的模型监测系统。

背景技术

所谓财务模型就是将企业的各种信息按照价值创造的主线进行分类、整理和链接，以完成对企业财务绩效的分析、预测和评估等功能，在实际操作中，财务模型既可以通过Excel办公软件也可以借助专业的财务模型软件来协助完成。

传统方法通过线下代码实现，新增迭代模型时都需要修改相应的代码，并且需要人为管理运营，需要一定的人力成本和时间成本，同时，无法保证模型监测的时效性。基于此，本文提出了一种准实时计算的模型监测的方案，通过系统配置实现对模型的实时监测，并实时预警模型开发人员进行模型的迭代升级或下线。监测内容包括：模型稳定性、模型有效性、模型参数稳定性等。

发明内容

针对现有技术中无法保证模型监测的时效性、对模型的监测需要一定人力成本和时间成本的问题，本发明提供一种准实时计算的模型监测系统，其目的在于：通过系统配置实现对模型的实时监测，并实时预警模型开发人员进行模型的迭代升级或下线。

本发明采用的技术方案如下：

一种准实时计算的模型监测的系统，包括：

模型数据层：接收模型数据，并加工为模型数据集；

模型信息加工层：接收从模型数据层实时转入的模型数据集与数据集市导出的数据集市数据集，并集成为模型信息数据集；

模型监测指标计算层：接收从模型信息加工层实时转入的模型信息数据集，并基于模型信息数据集进行监测指标计算，得到监测指标计算结果；

模型监测公式计算层：根据监测指标计算结果，进行模型监测公式计算，并根据模型监测公式计算结果生成告警内容；

模型分级预警层：根据告警内容和设置的预警主题进行分层预警。

采用上述方案，模型数据层接收到模型数据后，将模型数据加工为模型数据集，并将模型数据集转入模型信息加工层，模型信息加工层同时接收来自模型数据层与数据集市的数据集，其中模型数据层的数据集包括信用模型、欺诈模型、非正常交易模型，数据集市的数据集包括案件性数据集、非正常交易数据集、信贷逾期数据集、黑灰名单数据集，模型信息加工层将这两种数据集集成为模型信息数据集，并转入模型监测指标计算层，模型监测指标计算层基于模型信息数据集进行监测指标计算，包括KS指标、PSI指标、AUC指标，得到上述指标计算结果后将指标计算结果转入模型监测公式计算层，模型监测公式计算层将指标计算结果写入监测公式，判断模型的稳定性、区分性能，如果模型发生指标异常，则生成告警内容，并将告警内容转入模型分级预警层，模型分级预警层通过设置的告警组配置发出告警信息。

优选的，所述模型监测公式计算层下接模型分析系统，模型分析系统下接模型系统；采用上述优选方案，当模型监测公式计算层生成告警内容，并通过模型分级预警层向模型分析系统发出告警信息时，模型分析系统能够根据告警信息内容对模型进行模型优化、模型下线、特征下线操作，能够及时地对出现缺陷的模型做出优化或下线，提高了模型监测的时效性。

优选的，所述模型数据层上接模型系统；采用上述优选方案，模型数据层能够实时接收模型系统的模型数，保证了模型系统、模型监测系统之间的联动性，并确保模型监测计算的实时性。