[发明专利]一种基于二叉树结构的不平衡数据处理方法

说明书

本发明公开了一种基于二叉树结构的不平衡数据处理方法，具体包括：(1)将原始数据集Ω划分为正样本空间集合Ω_P和负样本空间集合Ω_N，创建Ω_N的副本C_N；(2)选择正负样本比r、树的深度D、叶子节点的最少样本数量LeafMin以及基聚类算法；(3)将C_N划分为2个不相交的簇；(4)根据分裂准则，判断Ω_N是否继续分裂，形成二叉树；(5)进行归一化处理，求取特征差异度方差和特征极差程度；重复上述步骤，挑选出最佳的负样本集合；(6)对最佳负样本集合进行抽样；(7)原始空间中的正样本集合与最佳负样本集合构成一个平衡样本集合。本发明解决了正负样本不平衡的问题，降低了数据集的噪声，提高训练速度，而且能够提高每个基分类器的泛化能力。

技术领域

本发明属于数据挖掘领域，特别涉及一种基于二叉树结构的不平衡数据处理方法。

背景技术

在数据挖掘领域中，大量的场景中会出现数据集不平衡的问题，如搜索引擎的点击预测(点击的网页往往占据很小的比例)、电子商务领域的商品推荐(推荐的商品被购买的比例很低)、信用卡欺诈检测、网络攻击识别等等。在二分类问题中具体表现为正样本数量相对负样本数量要少很多。即正样本少，负样本多。这样在分类问题上往往会导致分类结果偏向于负样本。现有的数据集不平衡处理方法主要有：收集更多的正样本数据、欠采样过采样、样本权重赋值。收集更多的正样本数据可以很好地解决数据不平衡问题，但是往往很多数据的获得都是非常困难的，单纯依靠增加数据量来解决不平衡数据集的方法是不现实的。在欠采样中，通过随机抽取部分负样本，从而减少负样本的数量，使得正负样本比得到改善。但是欠采样会导致部分重要的负样本的信息丢失，使得数据不能得到充分的使用。在过采样中，例如著名的SMOTE算法，就是通过人为的按照某种准则添加正样本数量，但如果对正样本拟合得不好，这个过程实际上是人为引入噪声。在样本权重赋值中，需要人为设定每个正、负样本的权重，由于实际中，很难衡量某个正、负样本的质量。因此若赋予的权重不适合，同样也会加大数据集的噪声。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于二叉树结构的不平衡数据处理方法。本发明一方面能够利用多次聚类算法来分裂出同类数据，使得相近的数据无需多次学习，仅学习一定量具有代表性的数据，从而减少负样本数量，实现数据的充分利用。另一方面，本发明通过调整树的深度以及叶子节点最少样本数量来调整平衡样本集合的质量，提高学习器的泛化能力。利用特征差异程度方差、特征极差程度两个指标来准确、客观地挑选出合适的样本平衡比、树的深度以及叶子节点最少样本数量，大大提高训练样本的质量，从而提高不平衡数据处理方法的有效性。

本发明的目的能够通过以下技术方案实现：

一种基于二叉树结构的不平衡数据处理方法，具体包括以下步骤：

(1)将原始数据集Ω按标签划分为正样本空间集合Ω_P和负样本空间集合Ω_N，同时创建负样本空间集合的副本C_N；

(2)选择每个平衡样本集合的样本平衡比r、选择树的深度D、叶子节点的最少样本数量LeafMin以及基于原型聚类的基聚类算法Γ；

(3)采用步骤(2)中所选择的基聚类算法Γ将负样本集合C_N划分为2个不相交的簇C_i,i＝1,2；

(4)根据分裂准则，判断步骤(3)中所划分的簇，即C_N←C_i,i＝1,2是否满足分裂准则；若满足分裂准则，则对负样本集合C_N重复步骤(3)和步骤(4)直至当前负样本集合C_N不再满足分裂准则；递归完毕后，形成二叉树Τ；