[发明专利]模型更新后替换运行的方法、装置、及业务服务器

权利要求书

1.一种模型更新后替换运行的方法，所述方法包括：

对各个更新后的模型的综合性能进行比较，其中，任一更新后的模型是根据预设的优化训练事件集对初始模型进行更新得到，任一更新后的模型的综合性能根据该更新后的模型在多个不同稽核率下的指标值确定，所述多个不同稽核率由预设的综合性能评估规则确定；

将综合性能最优的更新后的模型确定为候选模型；

对所述候选模型与当前线上运行的模型在指定风险阈值下的性能进行比较，其中，所述候选模型或所述当前线上运行的模型在指定风险阈值下的性能根据其针对指定线上事件集输出的分值所对应的标准分值，以及根据该标准分值与指定风险阈值对所述指定线上事件集的稽核结果确定，所述指定风险阈值由预设的模型策略确定；

若比较得出所述候选模型的性能优于所述当前线上运行的模型，则将所述候选模型部署为线上运行的模型。

2.根据权利要求1所述的方法，所述更新后的模型在多个不同稽核率下的指标值，根据该更新后的模型针对预设测试事件集输出的测试分值，与在多个不同稽核率下，根据所述测试分值对所述预设测试事件集的预测结果确定；

在所述将综合性能最优的更新后的模型确定为候选模型之后，所述方法还包括：

按照预设的标准化规则，对所述候选模型针对所述预设测试事件集输出的测试分值进行标准化处理，得到所述候选模型的分值范围与标准分值的对应关系。

3.根据权利要求2所述的方法，所述按照预设的标准化规则，对所述候选模型针对所述预设测试事件集输出的测试分值进行标准化处理，得到所述候选模型的分值范围与标准分值的对应关系，包括：

按照从高到低的顺序，对所述候选模型针对所述预设测试事件集输出的测试分值进行排序；

将排序得到的测试分值序列分割为L个分段，所述L为大于1的预设数值；

根据所述L个分段的各个分割点，将所述测试分值的值域划分为L个分值范围；

针对任一分值范围，将所述分值范围的下界在所述测试分值序列中的分位数，确定为该分值范围对应的标准分值。

4.根据权利要求2所述的方法，所述对所述候选模型与当前线上运行的模型在指定风险阈值下的性能进行比较，包括：

根据所述候选模型针对指定线上事件集输出的分值所对应的标准分值，以及根据该标准分值与所述指定风险阈值对所述指定线上事件集的稽核结果，确定所述候选模型在所述指定风险阈值下的准确率；

根据所述线上运行的模型针对所述指定线上事件集输出的分值所对应的标准分值，以及根据该标准分值与指定风险阈值对所述指定线上事件集的稽核结果，确定所述线上运行的模型在所述指定风险阈值下的准确率；

对所述候选模型在所述指定风险阈值下的准确率，与当前线上运行的模型在所述指定风险阈值下的准确率进行比较。

5.根据权利要求4所述的方法，所述根据所述候选模型针对指定线上事件集输出的分值所对应的标准分值，以及根据该标准分值与所述指定风险阈值对所述指定线上事件集的稽核结果，确定所述候选模型在所述指定风险阈值下的准确率，包括：

针对指定线上事件集中任一线上事件，执行下述过程得到所述候选模型在所述指定风险阈值下对该线上事件的稽核结果：

根据所述候选模型对该线上事件输出的分值查找所述候选模型的分值范围与标准分值的对应关系，确定该分值所属的目标分值范围对应的目标标准分值；

对所述目标标准分值与所述指定风险阈值进行比较；

若比较得出所述目标标准分值不大于所述指定风险阈值，则将该线上事件稽核为风险事件，否则，将该线上事件稽核为安全事件；

根据所述候选模型在所述指定风险阈值下对指定线上事件集中任一线上事件的稽核结果，与所述任一线上事件的风险标签，统计得到候选模型在所述指定风险阈值下的准确率。