[发明专利]一种基于Tomek链的类别不平衡数据填充方法

说明书

本发明属于数据挖掘技术领域，尤其涉及一种基于Tomek链的类别不平衡数据填充方法，其特征在于，包括获取不平衡数据集S，该不平衡数据集S分为少数类样本集A和多数类样本集B，遍历所有样本以求得集合A和集合B间所有的Tomek链，以所有Tomek链中各自的少数类样本端点形成少数类边界样本集合A′；以少数类边界样本集合A′中的全部或部分样本形成少数类根样本集合R，对于R中的每一个样本a_i，计算A中距离a_i最近的X个近邻，然后从X近邻中随机选择γ个近邻分别与a_i合成新样本；将全部新合成的少数类样本补入A中得到和B构成新的平衡数据集该发明所涉及方法解决了现有不平衡数据填充技术中标识边界样本依赖于区域划分和超参数设定的技术问题。

技术领域

本发明属于信息技术领域，尤其涉及数据挖掘技术，具体公开了一种基于Tomek链的类别不平衡数据填充方法。

背景技术

不平衡数据是指不同类别之间的样本在数量上表现出不平衡性，即少数类样本的数量要远远小于多数类样本的数量。在很多实际的不平衡数据分类问题中，如软件缺陷检测、机械故障诊断、生物信息识别、医疗诊断等，因为误分类少数类样本要比误分类多数类样本付出更大的代价，所以针对不平衡数据的识别问题需要设计出更为有效的方法。

根据已有少数类样本的分布特点，通过过采样策略对少数类样本空间进行填充是一种有效的方法。填充完毕后，两类数据会达到平衡，从而使用类间样本具有了相同的误分代价。针对少数类样本的填充方法主要有“合成少数类过采样技术(Synthetic MinorityOversampling Technique，简称SMOTE)”。SMOTE通过在根结点少数类样本及其选定近邻间进行线性插值而合成新的少数类样本。该方法能够实现平衡并提高分类器对少数类样本识别的精度。

但SMOTE对每个原始少数类样本都同等对待，即对每一个少数类样本都合成相同数量的新样本，没有考虑少数类样本的分布情况。现有研究表明，处于类间边界上的少数类样本更有可能被误分类，即边界上的样本更重要。如果从边界上的少数类样本出发进行新样本的合成将更具有实际价值。基于这一动机，有学者提出SMOTE的改进方法Borderline-SMOTE。它将每个少数类样本根据其k近邻中少数类和多数类的占比，分为“安全(Safe)”、“危险(Danger)”、“噪声(Noise)”三类中的一类。如图2所示，a₁的5近邻中全为多数类样本，标记a₁为“噪声”样本；a₂的5近邻中少数类样本为4个，标记a₂为“安全”样本；a₃的5近邻中多数类样本与少数类样本为3：2，标记a₃为“危险”样本。Borderline-SMOTE认为a₃为“边界”样本，只对这类“边界”样本进行合成。

Borderline-SMOTE的缺点是它对“安全”、“危险”、“噪声”样本的标识严重依赖于超参数k近邻个数的选取。如图3所示，当k＝3时，a₁为“噪声”样本；当k＝5时，a₁为“危险”样本；当k＝7时，a₁为“安全”样本，因此，通过近邻样本中的比例来标识边界样本是存在很大问题的。

发明内容

本发明旨在提出一种基于Tomek链的类别不平衡数据填充方法，利用Tomek链标识边界样本，并使用Tomek链中的少数类样本作为根样本来合成新的样本，以解决现有不平衡数据填充技术中标识边界样本严重依赖于样本空间划分和超参数k值设定的问题。

本发明中的基于Tomek链的类别不平衡数据填充方法包括以下步骤：

S1获取不平衡数据集S，该不平衡数据集S由少数类样本集A和多数类样本集B组成，记A所包含的样本数为n，B所包含的样本数m；