[发明专利]数据处理的方法、装置、存储介质及电子设备

说明书

本发明实施例提供一种数据处理的方法、装置、存储介质及电子设备，该方法包括：基于样本数据的柯尔莫可洛夫‑斯米洛夫KS值确定备选分界点集合；基于分箱组数以及分箱的信息值IV从所述备选分界点集合中确定目标分界点；获取所述样本数据基于所述目标分界点的分箱结果；基于所述分箱结果对模型进行训练。通过这种基于KS值以及IV的分箱方式对样本数据离散化，将对模型的预测结果具有相同作用的样本数据分到一个箱内，提升了训练的模型的稳定性以及准确性，降低模型过拟合的风险。

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种数据处理的方法、装置、存储介质及电子设备。

背景技术

一般情况下，在构建模型时，需要对样本变量离散化，利用离散化后的样本对模型进行训练，训练的模型会更稳定，也会降低模型过拟合的风险。例如，在建立申请评分卡模型时的逻辑回归Logistic模型就需要对样本变量进行离散化。

样本离散化通常采用分箱法。分箱对异常数据有很强的鲁棒性、在逻辑回归模型中，将样本变量离散化为N个哑变量后，每个哑变量有单独的权重，相当于为模型引入了非线性特征，能够提升模型表达能力，加大拟合，提升模型的精准度。因此，在建模数据的预处理的过程中，分箱(即样本离散化)往往是较为核心一环。样本分箱的优劣往往会影响模型的评分效果。

目前，常见的分箱可分为无监督分箱以及有监督分箱。

其中，无监督分箱可以分为：

等距分箱：按照相同距离将数据分成几等份。

等频分箱：将数据分成几等份，每等份数据里面的个数是一样的。

有监督分箱需要通过标签计算划分标准，常见的有监督分箱有卡方分箱、决策树分箱，它们划分依据的标准主要是卡方值、信息增益。

现有分箱方法往往比较粗糙、固定、单一，对模型提升效果有限，模型的表达能力弱，容易若拟合，降低模型的精准度，特别是针对营销与风控建模场景，而且，容易受异常值的影响。

因此，需要一种新的数据处理的方法、装置、存储介质及电子设备，提升模型的稳定性以及降低过拟合的风险。

在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本发明提供一种数据处理的方法、系统、存储介质及电子设备，至少在一定程度上提升模型的稳定性以及降低过拟合的风险。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明实施例的一方面，提供一种数据处理的方法，其中，所述方法包括：基于所述样本数据的柯尔莫可洛夫-斯米洛夫KS值确定备选分界点集合；基于分箱组数以及分箱的信息值IV从所述备选分界点集合中确定目标分界点；获取所述样本数据基于所述目标分界点的分箱结果；基于所述分箱结果对模型进行训练。

在本发明的一些示例性实施例中，基于前述方案，基于所述样本数据的KS值确定备选分界点集合，包括：基于所述样本数据的KS值对所述样本数据进行循环分箱，基于满足预设条件的分箱结果确定备选分界点集合。

在本发明的一些示例性实施例中，基于前述方案，基于所述样本数据的KS值对所述样本数据进行循环分箱，基于满足预设条件的分箱结果确定备选分界点集合，包括：获取所述样本数据的分箱结果；判断所述分箱结果是否满足所述预设条件；若判断结果为否，基于所述分箱结果的KS值进行分箱，更新所述样本数据的分箱结果；若判断结果为是，基于所述分箱结果确定备选分界点集合。