[发明专利]一种模型监控方法、装置和电子设备

说明书

本发明公开了一种模型监控方法、装置、电子设备及计算机可读介质，其中方法包括：获取单个模型每天的指标数据；将单个模型每天的指标数据存储到分布式文件系统的对应位置，并控制分布式文件系统对任意数量模型在预设的时间段内的指标数据自动汇总得到汇总后的指标数据；从分布式文件系统中调用汇总后的指标数据，并根据汇总后的指标数据对相应的模型进行监控。本发明能够通过控制分布式文件系统对指标数据进行汇总，可以对任意时间段对任意数量模型的指标数据进行汇总，并将汇总后的数据展示给管理员查看，根据指标数据可以直观的判断每个模型是否需要更新，提高了模型监测效率，提升了模型在实际应用时的准确性和可靠性，同时降低成本。

技术领域

本发明涉及计算机信息处理领域，具体而言，涉及一种模型监控方法、装置、电子设备及计算机可读介质。

背景技术

模型是指通过主观意识借助实体或者虚拟表现构成客观阐述形态结构的一种表达目的的物件(物件并不等于物体，不局限于实体与虚拟、不限于平面与立体)。对研究的实体进行必要的简化，并用适当的变现形式或规则把它的主要特征描述出来。所得到的系统模仿品称之为模型。

而线上模型主要包括了机器学习模型以及统计模型，业内对线上模型运行状态的评估主要是通过周期性的观察模型评分与变量分布，计算PSI (populationstabilityindex)指标，当PSI大于某一阈值时，认为不稳定，或者周期性的利用新样本计算模型以及变量的KS(Kolmogorov-Smirnov，模型风险区分能力评分)，当KS低于某一阈值时，认为失效。但是上述方法需要每天对每个模型单独监控，随着时间和模型数量增加，模型产生的数据成倍增长，会导致维护成本和监控工作量增加，消耗大量人力物力，不利于长期发展。

发明内容

为了解决如何快速准确的监控任意时间段内任意数量模型的状态的技术问题，本发明提供了一种模型监控方法、装置和电子设备。

本发明的一方面提供一种模型监控方法，包括：

获取单个模型每天的指标数据；

将所述单个模型每天的指标数据存储到分布式文件系统的对应位置，并控制所述分布式文件系统对任意数量模型在预设的时间段内的指标数据自动汇总得到汇总后的指标数据；

从所述分布式文件系统中调用所述汇总后的指标数据，并根据所述汇总后的指标数据对相应的模型进行监控。

根据本发明的优选实施方式，所述获取单个模型每天的指标数据，进一步包括：

获取单个模型每天的PSI指标、KS指标及AUC指标。

根据本发明的优选实施方式，所述获取单个模型每天的PSI指标、KS指标及AUC指标，进一步包括：

对单个模型中的样本进行等频分箱；

获取所述模型的样本指标，所述样本指标包括：该模型的分箱值、每个箱的总样本量、每个箱的好样本量及每个箱的坏样本量；

根据所述样本指标计算每个箱中样本的PSI值、KS值及AUC值；

根据每个箱中样本的PSI值、KS值及AUC值计算该模型的指标数据。

根据本发明的优选实施方式，所述根据每个箱中样本的PSI值、KS值及AUC值计算该模型的指标数据，进一步包括：

对每个箱中样本的PSI值求和得到该模型的PSI指标数据；

分别计算每个箱的好样本与坏样本的累计分布的差值作为每个箱的KS值，取其中最大的KS值作为该模型的KS指标数据。

根据本发明的优选实施方式，所述将所述单个模型每天的指标数据存储到分布式文件系统的对应位置，并控制所述分布式文件系统对任意数量模型在预设的时间段内的指标数据自动汇总得到汇总后的指标数据，进一步包括：