[发明专利]一种不平衡数据集过采样方法

说明书

本发明涉及一种不平衡数据集过采样方法，将传统过采样方法，与优化后基于密度的聚类算法相结合，有效解决了不平衡数据的分类问题，其中，利用优化的聚类算法去除了少数类的噪声样本，使得合成的样本更加合理有效，为了充分利用了边界样本和核心样本的信息，对核心样本和边界样本采用了不同策略进行过采样。

技术领域

本发明涉及一种不平衡数据集过采样方法，属于数据预处理技术领域。

背景技术

不平衡数据分类问题是机器学习领域内一个重要的研究课题，引起国内外学者的广泛关注。不平衡数据集是指在多类别的数据集中，某些类别样本的数目远小于其他类别样本的数目，各个类别样本的数目存在着严重的不平衡现象。不平衡数据集广泛存在于人们的现实生活和工业生产之中，比如垃圾邮件过滤、文本分类、医疗诊断等都存在数据不平衡问题，在这些领域，相比多数类样本，我们更加关心少数类样本。

目前对不平衡数据集分类的研究，主要集中在算法层面和数据层面。基于算法层面，大都是针对非平衡数据特点提出新的算法或者改进现有的算法，包括集成方法、代价敏感学习方法。虽然能够提高少数类样本的分类准确率，但仍然有局限性，对于不同特征的数据集，其适用的分类算法不一样，即每种分类算法有其最适合的情况。基于数据层面，大都是基于K邻近思想，计算量大，容易受到噪声数据影响。

发明内容

本发明所要解决的技术问题是提供一种采用全新架构设计，能够有效提高数据分类准确性的不平衡数据集过采样方法。

本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种不平衡数据集过采样方法，基于已知各数据样本所属类别，完成数据的过采样，其特征在于，包括如下步骤：

步骤A.针对目标数据样本集中的各个数据样本，进行维度空间坐标转换，获得各个数据样本分别所对应的维度空间坐标，然后进入步骤B；

步骤B.针对目标数据样本集，删除其中与任意数据样本之间不存在密度相连关系的数据样本，更新目标数据样本集，并构建指定少数类核心数据样本集合，以及指定少数类边界数据样本集合，然后进入步骤C；

步骤C.分别针对指定少数类核心数据样本集合中的各个核心数据样本，执行过采样操作，更新目标数据样本集，然后进入步骤D；

步骤D.分别针对指定少数类边界数据样本集合中的各个边界数据样本，执行过采样操作，更新目标数据样本集。

作为本发明的一种优选技术方案，所述步骤B包括如下步骤：

步骤B1.针对目标数据样本集中，除被定义为核心数据样本、待定边界数据样本、噪声数据样本以外的各个数据样本，任意选取一个数据样本，判断以该数据样本维度空间坐标为球心，预设Eps领域内其它数据样本的数量是否小于预设核心判断数量阈值MinPts，是则定义该数据样本为噪声数据样本，并进入步骤B3；否则定义该数据样本为核心数据样本，并进入步骤B2；

步骤B2.构建本次循环中所获核心数据样本所对应的簇，将该核心数据样本划分至该簇中，并针对目标数据样本集中、除被定义为核心数据样本、待定边界数据样本以外的各个数据样本，选择与该核心数据样本之间存在密度相连关系的各个数据样本，将其定义为待定边界数据样本，然后进入步骤B3；

步骤B3.判断目标数据样本集中，除被定义为核心数据样本、待定边界数据样本、噪声数据样本以外，是否存在其它数据样本，是则返回步骤B1；否则进入步骤B4；

步骤B4.分别针对各个待定边界数据样本，首先获得以待定边界数据样本维度空间坐标为球心，预设Eps领域内的各个核心数据样本，接着获得该各个核心数据样本分别所对应簇的簇中心，然后获得该待定边界数据样本分别至该各簇中心的欧式距离，最后将该待定边界数据样本划分至最短欧式距离所对应的簇中，进而完成各个待定边界数据样本向各个簇的划分，然后进入步骤B5；