[发明专利]一种基于深度学习的非结构化数据的违约概率预测方法

说明书

本发明涉及到一种基于深度学习的非结构化数据的违约概率预测方法，该方法包括有：集成和清洗信贷主体人包括文本数据和时序数据在内的非结构化数据；将非结构化数据变换为深度学习模型可识别的数据格式；基于深度学习模型框架，提取数据特征作为样本数据；针对提取出来的样本数据，利用复杂机器学习分类算法‑集成树模型构建信用风险模型，输出违约概率预测。本发明的方法通过挖掘文本和时序等非结构化数据，基于深度学习和大数据技术捕捉信贷主体人潜在的风险行为模式，在此之上进行高维数据信用风险建模，实现了对信贷主体人自动、全面、流程化的定量信用风险分析以提升金融风控能力和降低信贷风险。

技术领域

本发明涉及金融风控领域，具体涉及一种基于深度学习的非结构化数据的违约概率预测方法。

背景技术

在移动互联网快速普及的当下，用户的金融行为习惯正发生巨大的变化，大部分人在生活中正愈发习惯于通过互联网来安排一天的吃穿住行。受此影响，用户的电商数据、行为数据、社交数据等非结构化数据在数据体量和丰富性上较过去几年都有了一个飞跃提升。这些数据一方面具有被动数据的特点，更加真实难伪造，能够客观描述一个人长期的金融行为习惯；另一方面，也具有触手可及，获取成本较低的优点。因此，整个金融体系都在全力挖掘非结构化数据，在广告营销、用户运营等领域也都得到了率先应用。

对于信贷风控场景而言，目前对此类非结构化数据的理解和使用依然存在较高的门槛，具体难点分解如下：

1.数据清洗繁重：由于非结构化数据诸如文本、时序数据天然具有体量大、难加工的特性，简单的处理方法不仅消耗计算资源多，且远远难以达到可供加工的程度。

2.数据变换复杂：为了能够利用深度学习模型提取全量数据的价值，需要将非结构化数据变换为张量形式，传统的变换方式存在矩阵稀疏，损失信息过多等缺点。

3.特征提取困难：传统针对向量化后的数据，往往会通过人工提取特征，或者直接在原始数据上硬编码正则表达式等方式提取特征，然而此类方法存在较大局限，不仅提取价值有限，而且难以适应线上风险环境的快速演变。

4.风险建模困难：由于非结构化数据所能提取的特征经常是上千甚至上万维度，远远超出传统评分卡模型所能处理的范围，金融机构需要更前沿的机器学习算法来完成建模以及一系列评估和自动输出违约概率预测的方法。

因此，整个金融风控领域都急需一套更加合理的基于深度学习的非结构化数据的违约概率预测方法，来实现从数据的接入、清洗、变换、到特征加工、风险建模与迭代的闭环解决方案。

发明内容

本发明的目的在于克服上述现有技术中存在的不足，设计一种基于深度学习的非结构化数据的违约概率预测方法。本发明专利的方法通过对信贷主体人进行定量信用风险分析，利用非结构化数据进行判断以提升金融风控能力和降低信贷风险

为了达到上述发明目的，本发明专利提供的技术方案如下：

一种基于深度学习的非结构化数据的违约概率预测方法，其特征在于，具体包括以下步骤：

步骤1：集成和清洗信贷主体人包括文本数据和时序数据在内的非结构化数据，；

步骤2：非结构化数据变换，将非结构化数据变换为深度学习模型可识别的数据格式，针对文本型数据，基于词在文档、语料库中出现的次数以及词与词在特定长度窗口中共现的次数，将文本输入无监督算法转换为向量表达式；针对时序型数据，基于不同时序维度将原始的时间序列数据聚合计算为不同的时序向量表达式；

步骤3：基于深度学习模型框架提取数据特征作为样本数据供上层分类判别模型使用，提取数据特征具体包括定义神经网络结构，将上述向量表达式和用户违约标签作为样本进行神经网络模型训练，抽取隐层特征作为样本数据；