[发明专利]一种贷款申请评分模型的使用效果评估方法及系统

说明书

本发明公开了一种贷款申请评分模型的使用效果评估方法及系统，其方法包括：利用预设贷款申请评分模型对不同时期的第一客户样本和第二客户样本进行审批，获取模型验证样本集和模型外验证样本集，推断模型验证样本集和模型外验证样本集未知标签的样本客户的当前评估标签，将每个样本客户和其对应的前评估标签相关联，根据模型验证样本集和模型外验证样本集未知标签的样本客户的当前评估标签计算出模型验证样本集和模型外验证样本集的评分变量值以及二者每项审批指标的评分值，根据模型验证样本集和模型外验证样本集中的评分变量值以及二者每项审批指标的评分值分析出预设贷款申请评分模型的使用效果。可有效的发现模型风险，避免带来坏账损。

技术领域

本发明涉及商业风险评估技术领域，尤其涉及一种贷款申请评分模型的使用效果评估方法及系统。

背景技术

贷款申请评分模型(简称申请评分或评分)，是商业银行贷款风险控制领域的重要技术，运用统计分析与机器学习等算法对合法采集的客户授权信息，建立评分对客户信用综合评估，给出授信审批决策。运用评分进行授信审批，通常比人工审批具有更高效率、更低成本，且更为客观，不会出现不同的审批人员给出不同决策的情况，申请评分开发完成部署上线，参与风险决策，需持续跟踪监控申请评分的使用效果。通过监控，及时有效地发现评分效果的变动，并采取措施(如评分迭代或风险策略调整)规避模型风险，在商业银行模型风险管控领域意义重大。

通常情况下，商业银行对申请评分的监控可分为前段监控和后段监控。前端监控主要是监控申请评分的稳定性，对新增授信申请客户监控如评分分布、评分区间通过率、评分稳定性(PSI)及评分变量稳定性(PSI)等统计指标，后段监控，主要是对申请评分模型线上使用效果的监控，是银行模型风险评估最重要的一环，可为评分下线、评分策略调整或评分迭代提供风险决策意见。行业通常做法为，待申请评分上线一段时间(须满足贷后表现周期及统计样本数量要求)积累一定放款客户样本，依据放款客户的贷款表现，给客户打上好坏标签(打标签逻辑与模型开发时一致)。依据放款客户的好坏标签，计算出申请评分的效果指标(以行业常用统计量KS为例)。跟申请评分开发时的放款客户样本KS对比，若新增授信月份转化的放款客户的KS衰减过快或低于经验值0.20(监管及银行风险部门通常关注的阈值)，则认为评分模型接近失效，并采取相应风险规避措施如评分下线、评分策略调整或评分迭代等。

即使渠道流量质量每月不发生变化，放款客户在经过授信风控、提现转化意愿及提现风控等因素干扰后，也与授信申请客户发生了较大偏移；其次，由于授信风控与提现风控是根据银行风险偏好动态调整的，每个新增月份的放款客户也是不断变化的，来自新授信月份的放款客户相对早期授信月份的放款客户也是发生偏移的。这种客户群体的偏移对申请评分的后段监控有重大影响，使得基于放款客户样本对申请评分效果的评估按照时间轴是不可比的，而基于此得出的模型效果结论是不准确的，进而给出的模型风险决策建议也是不符合业务实际情况的，错误的模型风险决策可能给商业银行带来损失。

发明内容

针对上述所显示出来的问题，本发明提供了一种贷款申请评分模型的使用效果评估方法及系统用以解决背景技术中提到的基于人工经验所获得的模型效果结论是不准确的，进而给出的模型风险决策建议也是不符合业务实际情况的，错误的模型风险决策可能给商业银行带来损失的问题。

一种贷款申请评分模型的使用效果评估方法，包括以下步骤：

利用预设贷款申请评分模型对不同时期的第一客户样本和第二客户样本进行审批，获取模型验证样本集和模型外验证样本集；

推断所述模型验证样本集和模型外验证样本集未知标签的样本客户的当前评估标签，将每个样本客户和其对应的前评估标签相关联；

根据模型验证样本集和模型外验证样本集未知标签的样本客户的当前评估标签计算出模型验证样本集和模型外验证样本集的评分变量值以及二者每项审批指标的第一评分值；

根据模型验证样本集和模型外验证样本集中的评分变量值以及二者每项审批指标的第一评分值分析出预设贷款申请评分模型的使用效果结论；