[发明专利]一种模型运营方法、装置、及业务服务器

权利要求书

1.一种模型运营方法，所述方法包括：

在任一预设的模型运营周期内，执行以下步骤：

获得当前运行模型针对预设的测试事件集输出的预测结果，并对所述预测结果进行统计，得到至少一个性能指标值；

获得所述当前运行模型的模型自变量的至少一个量化指标值；

根据所述至少一个性能指标值与所述至少一个量化指标值确定所述当前运行模型是否出现异常；

当确定所述当前运行模型出现异常时，根据预设的优化训练事件集对所述当前运行模型进行更新；

利用更新后的模型与所述当前运行模型对线上事件进行预测，将更新后的模型与所述当前运行模型的性能进行比较，若比较得出所述更新后的模型的性能优于所述当前运行模型，则将所述更新后的模型部署为线上运行的模型。

2.根据权利要求1所述的方法，所述根据所述至少一个性能指标值与所述至少一个量化指标值确定所述当前运行模型是否出现异常，包括：

根据所述至少一个性能指标值确定所述当前运行模型在当前模型运营周期的性能是否劣于其在前一个模型运营周期的性能；

根据所述至少一个量化指标值确定所述当前运行模型的模型自变量是否出现异常波动；

当确定所述当前运行模型在当前模型运营周期的性能劣于其在前一个模型运营周期的性能时，和/或确定所述当前运行模型的模型自变量出现异常波动时，确定所述当前运行模型出现异常。

3.根据权利要求2所述的方法，所述方法还包括：

输出所述当前运行模型出现异常的原因，所述原因包括下述至少一项：

所述当前运行模型在当前模型运营周期的性能劣于其在前一个模型运营周期的性能、所述当前运行模型的模型自变量出现异常波动。

4.根据权利要求1所述的方法，所述根据预设的优化训练事件集对所述当前运行模型进行更新，包括：

根据预设的优化训练事件集对所述当前运行模型进行refit更新或retrain更新。

5.根据权利要求1所述的方法，所述方法还包括：

对预设的优化训练事件集进行聚类分析，得到至少一个聚类簇，所述聚类簇中包括至少一个优化训练事件；

针对任一所述聚类簇，在其包括的至少一个优化训练事件中选取一个优化训练事件；

输出所选取的各个优化训练事件。

6.根据权利要求5所述的方法，所述方法还包括：

接收用户根据所输出的各个优化训练事件构造的特征池，所述特征池中包括多个特征变量；

利用预设的特征选择算法对所述特征池进行筛选，得到入模特征变量；

所述根据预设的优化训练事件集对所述当前运行模型进行更新，包括：

利用所述入模特征变量与所述预设的优化训练事件集对所述当前运行模型进行retrain更新。

7.根据权利要求1所述的方法，在所述将所述更新后的模型部署为线上运行的模型之后，所述方法还包括：

按照预设的标准化处理规则，将所述更新后的模型针对线上事件输出的预测分值进行标准化处理，得到所述线上事件的标准分值；

利用所述标准分值与预设的模型策略得到所述更新后的模型针对所述线上事件输出的预测结果。

8.一种模型运营装置，所述装置包括：

第一获得模块，用于获得当前运行模型针对预设的测试事件集输出的预测结果，并对所述预测结果进行统计，得到至少一个性能指标值；

第二获得模块，用于获得所述当前运行模型的模型自变量的至少一个量化指标值；

异常检测模块，用于根据所述至少一个性能指标值与所述至少一个量化指标值确定所述当前运行模型是否出现异常；

模型更新模块，用于当确定所述当前运行模型出现异常时，根据预设的优化训练事件集对所述当前运行模型进行更新；

模型部署模块，用于利用更新后的模型与所述当前运行模型对线上事件进行预测，将更新后的模型与所述当前运行模型的性能进行比较，若比较得出所述更新后的模型的性能优于所述当前运行模型，则将所述更新后的模型部署为线上运行的模型。