[发明专利]一种基于聚类和边界点的不平衡数据处理方法

权利要求书

1.一种基于聚类和边界点的不平衡数据处理方法，该方法包括以下步骤：

(1)设原始不平衡数据集中少数样本数目为D多数样本数目为N，根据少数类和多数类样本数目，计算不平衡数据需要新生成的少数类样本总数Q；

(2)利用DBSCAN聚类方法对少数类样本进行聚类，找出聚类簇中少数较少的点，以此作为样本噪声点删除，形成G个类；

(3)对于任意少数类样本m_i，基于KNN方法找到最近邻的K个样本，计算少数类样本到K个样本的距离和D₁，相加求K近邻距离平均值d_i，以距离d_i为半径，统计半径区域少数类样本中多数类个数，相加并进行归一化处理，得到每个边界区域少数类样本的权重w_i1，少数类样本m_i的权重w_i1之和为1；以每个簇为中心，计算每个聚类中心x_i到聚类簇中所有样本的距离D，然后得到与样本个数的比值，得到平均距离D₂，求和相加所有平均距离得到Z，进行归一化处理，并将每个距离D₂的倒数与距离Z的倒数求比值，得到每个聚类簇权重w_i2，每个聚类簇的权重w_i2之和为1；

(4)对于边界区域样本和每个聚类簇心，利用SMOTE合成算法得到新生成的少数类样本，将新生成的少数类样本点加入到原有的不平衡训练集中；

(5)对新生成的平衡训练集运用随机森林分类算法对本发明提出的采样方法进行测试和评价，并与SMOTE、K-SMOTE和不使用的经典SVM等过采样方法进行对比。

2.根据权利要求所述的一种基于聚类和边界点的不平衡数据处理方法，其特征在于，步骤(1)中需要新生成的少数类样本Q＝I*(N-D)，其中I是要合成的不平衡比，本发明取值为1。

3.根据权利要求所述的一种基于聚类和边界点的不平衡数据处理方法，其特征在于，步骤(2)中输入少数类样本数据集D，给定点在邻域内成为核心对象的最小邻域点数：MinPts，邻域半径：Eps；聚类后将簇类中数目个数少于两个样本的簇删除；最后得到去除噪声点的少数类样本M，样本形成n个类簇(C₁，C₂，……，C_G)。

4.根据权利要求所述的一种基于聚类和边界点的不平衡数据处理方法，其特征在于，步骤(3)中K近邻距离平均值d_i：

得到每个少数类样本m_i权重m_iw计算：

样本的距离和D的计算公式为：

每个聚类簇的权重w_i2：

用上述计算方法得到每个聚类簇的采样权重。

5.根据权利要求所述的一种基于聚类和边界点的不平衡数据处理方法，其特征在于，步骤(4)中对于边界区域样本和每个聚类簇，分别合成数目为0.7Q和0.3Q；SMOTE合成算法是在x_i的k个少数类邻居中随机选择N个，并根据以下公式生成新样本x_d：

x_d＝x_i+rand(0，1)*(y_j-x_i)

其中，g＝1,2,…,N.j＝1,…,k.rand(0,1)表示0到1之间的随机数。

6.根据权利要求所述的一种基于聚类和边界点的不平衡数据处理方法,其特征在于，步骤(5)中生成的平衡训练集和原始数据集合并Q，运用随机森林分类算法，为了更好的评价各种方法的性能，本发明采用五折交叉检验法在6组数据集上实验，每次选择其中4组作为训练集，1组作为测试集，同时用F-value和G-mean和ROC曲线作为评价指标进行对比。