[发明专利]处理数据类别不均衡的方法、装置、电子设备及存储介质

说明书

本申请提供了一种处理数据类别不均衡的方法、装置、电子设备及存储介质。涉及云技术的大数据处理领域。本申请基于少数类样本X_i与X_i的每一个近邻样本之间的互信息确定M个最近邻样本；基于X_i与X_ij(near)之间的互信息确定X_ij(near)的互信息权重；基于X_ij(near)的类型和X_ij(near)的互信息权重确定X_ij(near)的权重W_ij(near)；基于W_ij(near)和类别不均衡倍率N确定X_i与X_ij(near)之间待插入的少数类样本的数量N_j；在X_i与X_ij(near)之间插入N_j个新样本。通过融合互信息和SMOTE的方式处理数据类别不均衡问题，能够提升SMOTE的分类性能。

技术领域

本申请实施例涉及云技术领域，尤其涉及云技术的大数据处理领域，并且更具体地，涉及处理数据类别不均衡的方法、装置、电子设备及存储介质。

背景技术

数据类别不均衡问题是常见的影响分类模型性能的问题。

目前，应用广泛的解决数据不均衡问题的方法为合成少数类过采样技术（Synthetic Minority Oversampling Technique，SMOTE）。不同于一般的过采样技术，SMOTE新增加的少数类样本不是通过重复采样得到，而是在两个少数类样之间通过插值的方式合成一个新样本，即在少数类分布边界内增加新的样本，并将新样本添加到少数类别中，从而达到类均衡的效果。新插值产生的样本一定程度服从原始数据分布，并且产生更多的少数类信息，提高了模型的泛化能力。

但是，SMOTE是在两个同类别的样本之间合成新样本，插值后少数类样本点密度在小范围内急剧加大，且扩充样本集合时，没有改变少数类样本的分布特征，没有考虑多数类的近邻样本信息，对分类边界的影响较小，一方面容易导致样本重叠的问题；另一方面导致一些分类器的效果没有提升，例如支持向量机 (Support Vector Machine，SVM)，该分类器本身以最小化几何间隔作为损失函数来进行优化。由于少数类别的边界没有发生变化，基于SMOTE合成新的少数类样本后，支持向量的位置不发生偏移。

因此，有待进一步改进利用SMOTE解决数据不均衡问题的方案。

发明内容

本申请提供了一种处理数据类别不均衡的方法、装置、电子设备及存储介质，对利用SMOTE解决数据不均衡问题的方案进行了改进，能够提升SMOTE的分类性能。

一方面，本申请提供了一种处理数据类别不均衡的方法，该方法包括：

基于训练集中的第i个少数类样本X_i与该X_i的K个最近邻样本中的每一个近邻样本之间的互信息，在该K个最近邻样本中确定M个最近邻样本；其中，0＜i≤T；该T表征该训练集中少数类样本的数量；

基于该X_i与该M个最近邻样本中的第j个最近邻样本X_ij(near)之间的互信息，确定该X_ij(near)的互信息权重，0＜j≤M；

基于该X_ij(near)的类型和该X_ij(near)的互信息权重，确定该X_ij(near)的权重W_ij(near)；