[发明专利]针对不平衡样本数据的数据处理方法及装置

说明书

本发明所提供的针对不平衡样本数据的数据处理方法及装置，能够基于第一目标样本构造第二目标样本，并将第一目标样本和第二目标样本进行整合得到采样样本集，本方案的扩充样本的方法避免了简单的欠采样技术导致的信息丢失的问题，在样本较少的情况下，也不会加剧少样本的问题。此外，本方案的扩充样本的方法也不会产生如简单的过采样技术一样的由于生成重复样本而出现的过拟合的问题。如此，能够实现对不平衡样本的处理，使得两类不同样本的数量处于一个合理的比例。在利用上述方案确定得到的采样样本集进行建模并应用到业务场景时，能够避免样本过拟合问题，提高模型的泛化能力，从而提高对业务分类处理的准确性。

技术领域

本发明涉及样本数据处理技术领域，具体而言，涉及一种针对不平衡样本数据的数据处理方法及装置。

背景技术

在一些业务场景中，如果用于建模的样本数据存在严重的不平衡，例如，正类样本远少于负类样本，预测得出的结论往往也是有偏的。样本量少的分类所包含的特征过少，并很难从中提取规律，算法会过多地关注多数类，即分类结果会偏向于较多观测的类，容易产生过度依赖与有限的数据样本而导致过拟合问题，导致模型的泛化能力较弱。当模型应用到新的数据上时，模型的准确性会很差。

发明内容

为了改善上述问题，本发明提供了一种针对不平衡样本数据的数据处理方法及装置。

本发明实施例提供了一种针对不平衡样本数据的数据处理方法，应用于电子设备，所述方法包括以下步骤：

获取建模样本集；其中，所述建模样本集中包括多个原始样本，每个原始样本携带一个样本标签，所述样本标签为第一样本标签或第二样本标签；

对所述建模样本进行切分，得到待处理样本集和跨时间验证样本集；确定所述待处理样本集中携带第一样本标签的第一目标样本，根据所述第一目标样本构造第二目标样本，并将所述第一目标样本和所述第二目标样本进行整合得到采样样本集；

对所述采样样本集进行切分，得到训练样本集和测试样本集；通过所述训练样本集进行建模得到第一预测模型，基于所述测试样本集确定所述第一预测模型的第一模型性能分布；

通过所述采样样本集进行建模得到第二预测模型，基于所述采样样本集确定第一预测模型的第二模型性能分布；

根据所述第一模型性能分布、所述第二模型性能分布以及所述跨时间验证样本集确定所述采样样本集是否满足设定条件。

可选地，根据所述第一模型性能分布、所述第二模型性能分布以及所述跨时间验证样本集确定所述采样样本集是否满足设定条件，包括：

判断所述第一模型性能分布和所述第二模型性能分布是否满足预设模型性能指标；

在所述第一模型性能分布和所述第二模型性能分布满足所述预设模型性能指标时，基于所述跨时间验证样本集确定所述第一预测模型的第三模型性能分布以及所述第二预测模型的第四模型性能分布；

判断所述第三模型性能分布和所述第四模型性能分布是否满足预设模型性能指标；

在所述第三模型性能分布和所述第四模型性能分布满足所述预设模型性能指标时，判定所述采样样本集满足建模条件。

可选地，根据所述第一目标样本构造第二目标样本，包括：

计算每个所述第一目标样本的K个近邻；其中，K为正整数；

从所述K个近邻中挑选出N个近邻样本；其中，N为正整数；

对所述N个近邻样本进行随机线性插值，得到多个第二目标样本。

可选地，通过所述采样样本集进行建模得到第二预测模型，基于所述采样样本集确定第二预测模型的第二模型性能分布，包括：

通过对所述采样样本集进行分层采样，得到设定数量个互斥子集；