[发明专利]一种基于聚类和实例硬度的过采样算法

权利要求书

1.一种基于聚类和实例硬度的过采样算法，其特征在于，具体步骤包括如下：

步骤(1)、输入类别不平衡的数据，得到大类数据和小类数据；识别其中的小类数据，并测算小类数据的实例硬度；

步骤(2)、采用Canopy聚类方法，对测算的小类数据进行预聚类，通过预聚类得到聚类个数；

步骤(3)、将得到的聚类个数作为Kmeans算法的聚类参数，对小类数据再次聚类，从而得到不同的簇；

步骤(4)、识别不同的簇对应的实例硬度，并计算各簇的平均硬度和方差；

步骤(5)、根据平均硬度和方差，按照统计学最优分配原理计算各簇应生成的数据量；

步骤(6)、对各簇样本按硬度大小排序，选择其中低硬度样本作为各簇对应的安全区域；

步骤(7)、在各簇对应的安全区域中，分别由插值法生成指定数量的数据。

2.根据权利要求1所述的一种基于聚类和实例硬度的过采样算法，其特征在于，在所述步骤(1)中，通过测算小类数据的实例硬度的操作步骤如下：

(1.1)、按照欧式距离计算各小类样本的K个近邻样本；

(1.2)、求出K个近邻样本中类别相异的样本数量；

(1.3)、将类别相异的样本数量与K的比值，作为其实例硬度；

具体公式如下式所示：

其中，X表示小类数据，KDN(X)表示测算X的实例硬度的一种方法；KNN(X)表示X的K个距离最近的样本的集合，Z表示X周围的K个近邻样本中和X类别相异的样本。

3.根据权利要求1所述的一种基于聚类和实例硬度的过采样算法，其特征在于，在所述步骤(4)中，计算各簇的平均硬度和方差的具体操作步骤如下：

(4.1)、通过索引识别各聚类中的样本分别对应的实例硬度，并计算各簇对应的硬度均值，得到(H₁，H₂，…，H_M)；

(4.2)、计算各簇对应的标准差，得到各簇标准差(S₁，S₂，…，S_M)。

4.根据权利要求1所述的一种基于聚类和实例硬度的过采样算法，其特征在于，在所述步骤(5)中，按照统计学最优分配原理计算各簇应生成的数据量具体是指：将步骤(3)中得到的各个簇，作为统计学最优分配中的调查单位——层，并将步骤(4)得到的簇硬度均值，作为最优分配所涉及的调查费用，按照下式计算簇C_i中应生成的数据量：

其中，n表示过采样过程中生成的总数据量，n_i表示C_i被分配的待生成的数据量，Ω_i表示分配量与总量的比值。

5.根据权利要求1所述的一种基于聚类和实例硬度的过采样算法，其特征在于，在所述步骤(6)中，对各簇样本按硬度大小排序的具体操作步骤如下：

(6.1)、对各簇中样本，按照其KDN值的大小进行降序排序；

(6.2)、排序后，选取前若干低KDN值的样本组合为各簇对应的安全区域；其中，所述的安全区域表示低硬度数据组成的集合。

6.根据权利要求1所述的一种基于聚类和实例硬度的过采样算法，其特征在于，在所述步骤(7)中，由插值法生成指定数量的数据的具体是指：

对得到的安全区域(U₁，U₂，…，U_M)，在各安全区域中分别随机选择n_i对样本，由插值法生成n_i个数据，最后将所有新生成数据汇总；

其中，所述的插值法如下式所示：

X_new＝X₁+(X₂-X₁)×rand(0，1)

式中，X₁表示每对样本中第一个选中的样本，X₂表示另一个样本，rand(0，1)表示值大于且0小于1的随机数，X_new表示新生成的样本。