[发明专利]一种模型性能衰减评价方法、模型训练方法及装置

说明书

本发明提供一种模型性能衰减评价方法、模型训练方法及装置，该方法包括：获取目标模型的初始评价特征；其中，所述目标模型的初始评价特征包括所述目标模型的N组业务相关特征和所述目标模型的模型性能指标值中的至少一项，所述目标模型的N组业务相关特征与所述目标模型的N个评价样本一一对应；根据所述目标模型的初始评价特征确定所述目标模型的目标评价特征；将所述目标模型的目标评价特征输入预先训练的性能衰减评价模型，得到所述目标模型的性能衰减评价结果。通过本发明提供的模型性能衰减评价方法，可以提高模型性能衰减评价的效率。

技术领域

本发明涉及信息处理技术领域，尤其涉及一种模型性能衰减评价方法、模型训练方法及装置。

背景技术

随着人工智能技术的不断发展，机器学习模型在各个技术领域的应用越来越广泛。以互联网金融领域为例，在金融风控审批中建立以逻辑回归、集成树、神经网络等为基础的反欺诈、贷前审批、贷中管理及贷后催收模型，以帮助风控业务人员更加有效的结合规则进行业务操作，并最大程度的找到优质客户最大集合，最小程度的误判还款意愿或还款能力低的客户为正常或优质客户。

为了保证模型的有效性，往往需要对模型进行性能评价，以确认模型是否衰减。目前，在模型验证性能无问题上线后，往往是通过对模型分数(例如、KS(Kolmogorov-Smirnov)、AUC(Area Under Curve，ROC曲线下的面积)、PSI(Population StabilityIndex，群体稳定性指标)等性能指标值)、变量分布进行实时监控，以评价模型在线上的性能表现，当某指标变化异常或触发设定阈值时，则会提示异常，由相应模型开发人员评估异常提示，判断模型是否衰减，可见，现有技术中模型衰减评价的效率较低。

发明内容

本发明实施例提供一种模型性能衰减评价方法、模型训练方法及装置，以解决现有技术中模型衰减评价的效率较低的问题。

为了解决上述技术问题，本发明是这样实现的：

第一方面，本发明实施例提供了一种模型性能衰减评价方法。该方法包括：

获取目标模型的初始评价特征；其中，所述目标模型的初始评价特征包括所述目标模型的N组业务相关特征和所述目标模型的模型性能指标值中的至少一项，所述目标模型的N组业务相关特征与所述目标模型的N个评价样本一一对应，且所述目标模型的每组业务相关特征均包括如下至少一项：所述评价样本输入所述目标模型的各个输入变量值，所述评价样本输入所述目标模型所得到的日志信息，所述评价样本输入所述目标模型所得到的样本评分；N为大于1的整数；

根据所述目标模型的初始评价特征确定所述目标模型的目标评价特征；

将所述目标模型的目标评价特征输入预先训练的性能衰减评价模型，得到所述目标模型的性能衰减评价结果。

第二方面，本发明实施例提供了一种模型训练方法。该方法包括：

分别获取S个模型样本中每个模型样本的初始评价特征，其中，所述模型样本的初始评价特征包括所述模型样本的P组业务相关特征和所述模型样本的模型性能指标值中的至少一项，所述模型样本的P组业务相关特征与所述模型样本的P个评价样本一一对应，且所述模型样本的每组业务相关特征均包括如下至少一项：所述评价样本输入所述模型样本的各个输入变量值，所述评价样本输入所述模型样本所得到的日志信息，所述评价样本输入所述模型样本所得到的样本评分；S和P均为大于1的整数；

分别根据每个所述模型样本的初始评价特征确定每个所述模型样本的目标评价特征；

根据每个所述模型样本的目标评价特征和每个所述模型样本的标注参数训练性能衰减评价模型，其中，所述标注参数用于指示所述模型样本对应于目标衰减评价变量的真值。

第三方面，本发明实施例还提供一种模型性能衰减评价装置。该模型性能衰减评价装置包括：