[发明专利]一种基于聚类和边界点的不平衡数据处理方法

说明书

本发明公开了一种基于聚类和边界点的不平衡数据处理方法，首先获取不平衡数据比例，计算要合成的少数类样本数；然后利用DBSCAN聚类方法对少数类样本聚类，找出聚类个数较少的簇，作为噪声点去除；再计算任意少数类样本的K近邻样本距离之和，以距离平均值为半径，统计半径区域少数类样本中多数类个数，归一化处理得到样本边界区域权重；此外，以每个聚类簇为区域，计算聚类中心到簇中所有样本的距离，以距离倒数作为样本权重；最后，在每个边界区域和聚类中心利用SMOTE合成算法；得到的新数据集和原数据集合并，采用交叉验证划分数据，然后使用随机森林分类算法进行测试。本发明让合成的样本分布更加合理，通过实验证明在分类器上表现性能更加良好。

技术领域

本发明属于模式识别技术领域，具体涉及一种针对不平衡数据集的分类器以及处理方 法。

背景技术

不平衡在金融风控、反欺诈、广告推荐和医疗诊断中普遍存在。通常而言，不平衡数 据正负样本的比例差异极大，如在Kaggle竞赛中的桑坦德银行交易预测和IEEE-CIS欺诈检 测数据。对模型而言，不均衡数据构建的模型会更愿意偏向于多类别样本的标签，实际应用 价值较低。传统的分类器对不平衡数据集进行分类时，由于多数类样本更容易学习，导致分 类结果偏向于多数类，但人们最感兴趣的往往是少数类。例如软件缺陷预测中，几乎所有的 数据集都是不平衡的，有缺陷的样本属于少数类，无缺陷的样本属于多数类，在实际应用中 为有缺陷样本预测错误所付出的代价是惨痛的。因此，分类不平衡问题逐渐成为机器学习领 域的研究热点，尤其是正确识别其中的少数类。

近年来，科研人员提出了多种针对不平衡数据集的分类方法。根据作用对象的不同， 这些方法主要可以被分为算法层面和据层面两个主要方面。

算法层面的处理方法主要包括集成学习和代价敏感学习方法，这些方法通过修改分类 算法在数据集上的偏置，使得分类决策向少数类偏移，从而有效提升分类器在不均衡数据集 上的分类精度。但是无端的使分类决策偏移并不能改变样本分布，预测的效果性能往往不好。

数据层面的处理方法是基于某种规则，通过删减多数类样本或者增加少数类样本来改 善原始数据的不均衡比，使样本尽可能地均衡化，方便进行分类模型的训练。然而在一些小 型样本和样本数量较少的数据中，如果使用欠采样方法，将导致最后的训练样本数据量较少， 不能得到好的预测模型。

从上述分析可以看出,算法层面和据层面虽然都可以减轻数据不平衡对分类效果产 生的影响，但两种方法均存在一定的局限性。

发明内容

本发明的目的是提出一种不平衡数据的改善方法，并对合成的样本分布更加合理，使 得不平衡样本在分类器上表现性能良好。

本发明目的能够通过以下技术方案实现。

一种基于聚类和边界点的不平衡数据处理方法，该方法包括以下步骤：

设原始不平衡数据集中少数样本数目为D，多数样本数目为N。根据少数类和多数类 样本数目，计算不平衡数据需要新生成的少数类样本总数Q；

具体地，需要新生成的少数类样本Q＝I*(N-D)，其中I是要合成的不平衡比，本发明 取值为1；

利用DBSCAN聚类方法对少数类样本进行聚类，找出聚类簇中少数较少的点，以此作 为样本噪声点删除，形成G个类簇。

具体地，输入少数类样本数据集D，给定点在邻域内成为核心对象的最小邻域点数： MinPts，邻域半径：Eps；最后得到去除噪声点的少数类样本M，样本形成n个类簇(C₁，C₂，……， C_G)；