[发明专利]一种基于二叉树结构的不平衡数据处理方法

摘要

本发明公开了一种基于二叉树结构的不平衡数据处理方法，具体包括：(1)将原始数据集Ω划分为正样本空间集合Ω_P和负样本空间集合Ω_N，创建Ω_N的副本C_N；(2)选择正负样本比r、树的深度D、叶子节点的最少样本数量LeafMin以及基聚类算法；(3)将C_N划分为2个不相交的簇；(4)根据分裂准则，判断Ω_N是否继续分裂，形成二叉树；(5)进行归一化处理，求取特征差异度方差和特征极差程度；重复上述步骤，挑选出最佳的负样本集合；(6)对最佳负样本集合进行抽样；(7)原始空间中的正样本集合与最佳负样本集合构成一个平衡样本集合。本发明解决了正负样本不平衡的问题，降低了数据集的噪声，提高训练速度，而且能够提高每个基分类器的泛化能力。

主权项

1.一种基于二叉树结构的不平衡数据集的处理方法，其特征在于，具体步骤包括：(1)将原始数据集Ω按标签划分为正样本空间集合ΩP和负样本空间集合ΩN，同时创建负样本空间集合的副本CN；(2)选择每个平衡样本集合的样本平衡比r、选择树的深度D、叶子节点的最少样本数量LeafMin以及基于原型聚类的基聚类算法Γ；(3)采用步骤(2)中所选择的基聚类算法Γ将负样本集合CN划分为2个不相交的簇Ci,i＝1,2；(4)根据分裂准则，判断步骤(3)中所划分的簇，即CN←Ci,i＝1,2是否满足分裂准则；若满足分裂准则，则对负样本集合CN重复步骤(3)和步骤(4)直至当前负样本集合CN不再满足分裂准则；递归完毕后，形成二叉树Τ；(5)对步骤(4)得到的二叉树叶子节点上的每个负样本集合Θ_j进行所有特征x_nm^(j)的归一化处理，归一化后求解特征差异度方差FeatureVar_(k)和特征极差程度FeatureRange_(k)两个参数；重复步骤(5)多次，根据特征差异度方差FeatureVar_(k)和特征极差程度FeatureRange_(k)，挑选出最佳的负样本集合(6)对步骤(5)得到的最佳负样本集合按照一定比例进行抽样，得到平衡负样本集合Ψ；(7)将原始空间中的正样本集合ΩP与步骤(6)得到的平衡负样本集合Ψ构成一个平衡样本集合Ωbalance。