[发明专利]基于自动特征挖掘的可解释信贷违约率预测方法、系统

说明书

本发明公开了一种基于自动特征挖掘的可解释信贷违约率预测方法、系统，首先从客户信用资料库中提取每笔贷款的特征数据，并进行预处理；定义自动特征挖掘的操作算子集O和一种自动特征挖掘方法，并通过该操作算子集O得到自动特征集；构建违约率预测模型，并结合全局可解释方法和局部可解释方法，得到通过全局重要性特征排序、基于当前数据库搜索的反事实样本、基于特征扰动和生成模型的虚拟反事实样本，基于此给出可解释信贷违约率预测。本发明方法使得违约预测模型训练和更新无需专家经验干预，缓解专家经验差异大的问题，节省人力，能够满足审计需求，同时针对一线客户经理给出判断依据和相似判例参考。

技术领域

本发明涉及小样本信贷违约场景的机器学习预测领域，尤其涉及一种基于自动特征挖掘的可解释信贷违约率预测系统。

背景技术

在金融风控领域及中小银行进行数字化转型的过程中，由于人力成本及信贷专家经验分布的不一致性，贷中违约预测逐渐从由客户经理人工判断逐渐走向基于大数据和机器学习方法的半自动化专家辅助系统。

相对CV、NLP等通用场景，信贷违约率预测通常面临着样本极度不平衡的问题，特别对于中小银行，更是面临着小样本和不平衡数据的双重考验。传统银行由于审计等要求，对技术的应用趋于保守，大量落地场景仍停留在基于boosting的集成树模型。同时由于信贷影响个人征信等原因，银行风控系统对于可解释性的要求更高，基于深度学习等的黑盒模型难以在银行场景应用落地，这很大程度上限制了模型的预测能力。因此，在信贷场景中，不仅要考虑模型本身的全局可解释性，也要提供样本级的局部可解释性，以同时满足审计需求和一线客户经理/申请人需求。

信贷违约预测有时候会面临严重概念漂移问题，或者字段更新等场景，每隔一段时间均需要进行模型更新迭代。同时中小银行数据治理能力及专家经验相对大型银行都有限，基于专家经验进行特征挖掘人力成本较高。因此，亟需一个全自动的违约预测解决方案以便进行实时模型更新。

发明内容

本发明的目的在于针对现有业界违约率方案的不足，为解决实际场景中小样本不平衡数据、审计要求及全局和局部可解释性要求、专家经验分布差异大等实际问题，提供一种基于自动特征挖掘的可解释信贷违约率预测系统。

为解决上述技术问题，本发明的技术方案为：本发明实施例的第一方面提供了一种基于自动特征挖掘的可解释信贷违约率预测方法，所述方法具体包括以下步骤：

(1)从客户信用资料库中提取每笔贷款的特征数据，并对每笔贷款逾期打标签，所述标签为正样本或负样本，并对特征数据进行包括缺失值处理、异常值处理、转换在内的数据清洗。

(2)针对步骤(1)数据清洗后的特征数据定义自动特征挖掘的操作算子集O；

(3)设定自动特征扩展的终止条件，根据步骤(1)数据清洗后的特征数据进行初始化得到原始特征集，根据预测粒度及步骤(2)定义的操作算子集对原始特征集中进行组合生成、过滤、聚合计算，得到的自动特征集F_final；

(4)构建违约率预测模型，并使用贝叶斯优化方法进行全自动超参优化，得到训练好的违约率预测模型Clf_auto；

(5)基于步骤(4)训练好的违约率预测模型Clf_auto，使用代理模型的方法SHAP构建全局可解释代理模型，将步骤(3)得到的自动特征集F_final作为训练样本，输入到全局可解释代理模型中，得到所有训练样本的所有特征的贡献度，并基于该贡献度进行加权平均，得到全局重要性特征排序；