[发明专利]模型更新后替换运行的方法、装置、及业务服务器

说明书

公开了一种模型更新后替换运行的方法、装置及业务服务器，所述方法包括：对各个更新后的模型的综合性能进行比较；将综合性能最优的更新后的模型确定为候选模型；对所述候选模型与当前线上运行的模型在指定风险阈值下的性能进行比较，其中，所述候选模型或所述当前线上运行的模型在指定风险阈值下的性能根据其针对指定线上事件集输出的分值所对应的标准分值，以及根据该标准分值与指定风险阈值对所述指定线上事件集的稽核结果确定，所述指定风险阈值由预设的模型策略确定；若比较得出所述候选模型的性能优于所述当前线上运行的模型，则将所述候选模型部署为线上运行的模型。

技术领域

本说明书实施例涉及数据处理技术领域，尤其涉及模型更新后替换运行的方法、装置、及业务服务器。

背景技术

智能化或自动化处理的本质，是由计算机根据给定的输入信息，经计算后得到对应输出信息的过程，模型则是用于描述上述输入-输出关系的一种信息，简单的模型可以是根据人工规则建立，在数据时代，基于大数据及机器学习技术进行数据建模则成为主流。目前在多种应用领域中，都已经广泛使用大数据建模来实现各种智能化处理功能，同时，为了避免随着时间的推移导致模型的适用性下降，需要适时对模型进行更新，而随着模型的自动更新与新旧模型的替换运行，也相应产生了每进行一次模型替换运行，都需要针对新部署的模型重新部署一次模型策略，从而导致模型替换运行过程需要较多的人工介入，模型替换运行周期较长，更新后的模型无法及时发挥作用等问题。

以风控系统为例，目前以模型驱动的风控策略已被广泛应用，特别是针对一些综合的业务平台，可以基于不同场景分别构建出多个独立模型，进一步，还可以采用不同的整合方式将至少2个独立模型整合为一个整合模型，得到多个整合模型，后续，则可以在多个整合模型中选取出一个性能最优的整合模型进行正式运行。然而，由于独立模型是基于一定的历史数据样本训练得到，而随着时间的推移，可能会有多种因素导致独立模型的适用性下降，因此需要适时对独立模型进行更新，相应的，对于整合模型而言也同样需要适时更新，例如，每周对各个整合模型(其中包括当前正式运行的整合模型)进行一次refit更新，而各个整合模型更新之后，需要重新选取出一个性能最优的整合模型替换当前正式运行的整合模型，并同时重新部署一次模型策略，而目前在模型的评估选择以及模型替换运行阶段的模型策略部署仍需较多的人工介入，从而导致模型替换运行周期耗时较长，也就导致更新后的整合模型无法及时发挥作用。

发明内容

针对上述技术问题，本说明书实施例提供模型更新后替换运行的方法、装置、及业务服务器，技术方案如下：

一种模型更新后替换运行的方法，所述方法包括：

对各个更新后的模型的综合性能进行比较，其中，任一更新后的模型是根据预设的优化训练事件集对初始模型进行更新得到，任一更新后的模型的综合性能根据该更新后的模型在多个不同稽核率下的指标值确定，所述多个不同稽核率由预设的综合性能评估规则确定；

将综合性能最优的更新后的模型确定为候选模型；

对所述候选模型与当前线上运行的模型在指定风险阈值下的性能进行比较，其中，所述候选模型或所述当前线上运行的模型在指定风险阈值下的性能根据其针对指定线上事件集输出的分值所对应的标准分值，以及根据该标准分值与指定风险阈值对所述指定线上事件集的稽核结果确定，所述指定风险阈值由预设的模型策略确定；

若比较得出所述候选模型的性能优于所述当前线上运行的模型，则将所述候选模型部署为线上运行的模型。

2、根据权利要求1所述的方法，所述更新后的模型在多个不同稽核率下的指标值，根据该更新后的模型针对预设测试事件集输出的测试分值，与在多个不同稽核率下，根据所述测试分值对所述预设测试事件集的预测结果确定；

在所述将综合性能最优的更新后的模型确定为候选模型之后，所述方法还包括：