[发明专利]处理信贷数据的方法及装置

说明书

本发明公开一种处理信贷数据的方法及装置，涉及数据处理技术领域。该方法包括：对样本数据重采样得到样本集，并基于样本集中的样本数据和样本数据中的变量特征构建样本矩阵；根据非零元素阈值对样本集中的变量特征筛选过滤后构建稀疏矩阵，以及根据样本集中过滤掉的变量特征构建工程矩阵；针对稀疏矩阵中的元素去中心标准化处理后，通过容忍度分析将大于容忍度阈值的变量特征更新入工程矩阵，以对稀疏矩阵中的变量特征降维更新；从更新后的稀疏矩阵中提取主成分的变量特征形成主成分稀疏矩阵，以及从更新后的工程矩阵中提取主成分的变量特征形成主成分工程矩阵；基于主成分稀疏矩阵和主成分工程矩阵进行信贷数据的模型训练。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种处理信贷数据的方法及装置。

背景技术

信用风险是金融监管机构重点关注的风险，关乎金融系统运行的稳定。在实际业务开展和模型构建的过程中，面临着高维稀疏特征以及样本不平衡等问题，因此如何应用机器学习等数据挖掘方法提高信用风险的评估和预测能力，是各家金融机构积极探索的方向。

实际业务场景中的信贷数据的可用于违约风险识别，对于违约风险识别而言，由于违约客户的信贷数据在整个信贷数据的占比为极少数，故样本不均衡的现象通常会存在。在数据维度上，信贷业务中涉及到较为繁多的源数据，对于个贷而言涉及到个人基本信息、征信数据等，其中征信数据相较于个人基本信息具有高维、稀疏的特点，除现有技术中利用征信数据设置强规则外，如何有效的利用此类数据进行算法建模是当下亟待解决的难题。

发明内容

本发明的目的在于提供一种处理信贷数据的方法及装置，能够解决样本数据中违约客户数据占比不均衡的问题，实现对高维稀疏征信数据的有效利用。

为了实现上述目的，本发明的第一方面提供一种处理信贷数据的方法，包括：

对样本数据重采样得到样本集，并基于样本集中的样本数据和样本数据中的变量特征构建样本矩阵；

根据非零元素阈值对样本集中的变量特征筛选过滤后构建稀疏矩阵，以及根据样本集中过滤掉的变量特征构建工程矩阵；

针对稀疏矩阵中的元素去中心标准化处理后，通过容忍度分析将大于容忍度阈值的变量特征更新入工程矩阵，以对稀疏矩阵中的变量特征降维更新；

从更新后的稀疏矩阵中提取主成分的变量特征形成主成分稀疏矩阵，以及从更新后的工程矩阵中提取主成分的变量特征形成主成分工程矩阵；

基于主成分稀疏矩阵和主成分工程矩阵进行信贷数据的模型训练。

优选地，对样本数据重采样得到样本集的方法包括：

采用随机下采样方法对样本数据进行重构，使得样本集中的正样本数据数量与负样本数据数量维持预设比例。

优选地，根据非零元素阈值对样本集中的变量特征筛选过滤后构建稀疏矩阵，以及根据样本集中过滤掉的变量特征构建工程矩阵的方法包括：

根据各变量特征对应的非零元素数量，将稀疏矩阵中非零元素数量小于或等于非零元素阈值的变量特征保留，将稀疏矩阵中非零元素数量大于非零元素阈值的变量特征输出构建工程矩阵。

优选地，针对稀疏矩阵中的元素去中心标准化处理后，通过容忍度分析将大于容忍度阈值的变量特征更新入工程矩阵，以对稀疏矩阵中的变量特征降维更新的方法包括：

针对稀疏矩阵中的各元素做去中心标准化处理，之后采用公式对处理后的稀疏矩阵进行容忍度分析，所述g_i表示变量特征i与稀疏矩阵中其他变量特征的相关性程度，所述T_i表示变量特征i的容忍度分析结果；

将容忍度分析结果大于容忍度阈值的变量特征筛选出来补充入工程矩阵，将容忍度分析结果小于容忍度阈值的变量特征在所述稀疏矩阵中做保留，以实现对所述稀疏矩阵中变量特征的降维更新。