[发明专利]一种基于聚类和实例硬度的过采样算法

说明书

本发明公开了一种基于聚类和实例硬度的过采样算法。属于数据挖掘技术领域，本发明首先识别小类数据，即数据集中样本较少的数据类别，计算小类数据的实例硬度，即计算小类样本的近邻样本中不同类别的样本数与总近邻个数之比，然后对所有的小类数据进行聚类，并得到不同聚类中小类样本对应的实例硬度；再计算不同聚类的标准差，得到平均实例硬度和标准差后，由统计学最优分配原理计算各聚类中应生成的数据量；对各个聚类，选择聚类中低硬度样本由插值法生成指定数量的数据。本发明的目的在于解决数据挖掘中数据不平衡而导致分类器性能较差的问题。在数据挖掘中，不平衡数据制约模型性能，过采样通过生成新数据，缩小不同类型数据的差距。

技术领域

本发明属于数据挖掘技术领域，具体是涉及数据挖掘中数据不平衡问题，特别是涉及一种能够根据数据分布扩充数据(基于聚类和实例硬度)的过采样方法。

背景技术

在数据挖掘中，为得到性能优异的分类模型，需要充足的平衡数据进行训练。但在现实中数据往往是失衡的甚至严重不平衡，比如在入侵检测或金融交易等相关二分类数据集中，往往其中正常流量或正常交易等类别的数据偏多(大类)，而与此对应地，异常流量或异常交易对应类别的数据偏少(小类)，对使用者而言，大类数据中往往包含大量的冗余信息，而小类数据则更具有研究价值。如果直接使用原始数据不加以采样，将导致机器学习模型得不到充分的训练，从而对大类数据过拟合，降低小类样本的检测准确率，制约模型性能的提高。如何有效解决数据不平衡问题，也是机器学习、数据挖掘中的一大研究热点。

目前，针对此问题的研究，集中于分类算法与数据预处理两个方面。不平衡数据的分类算法一般基于集成学习，尽管取得了一定效果，但此类算法训练过程复杂,时间复杂度高，应对入侵检测等实际使用场景中的高维数据时存在不足；在数据预处理方面，数据重采样是其中最典型的不平衡问题处理方法。重采样技术可分为欠采样、过采样以及两者结合的混合采样三大类，欠采样根据一定的策略从大类数据中选择一定的样本，而过采样则扩充小类样本的数据。然而欠采样可能丢失大类数据中的重要信息，影响数据分布；相比之下，过采样的结果更稳定，往往能取得优于欠采样的效果。然而，过采样也可能导致类重叠，影响分类器性能的提高。因此，如何在过采样过程中避免类重叠，更有效、更合理地合成数据，能够极大地提高分类器的性能。

发明内容

针对上述问题，本发明提供了一种基于聚类和实例硬度的过采样算法，旨在处理入侵检测等场景下因数据不平衡导致分类器性能不佳的问题。

本发明的技术方案是：一种基于聚类和实例硬度的过采样算法，具体步骤包括如下：

步骤(1)、输入类别不平衡的数据，得到大类数据和小类数据；识别其中的小类数据，并测算小类数据的实例硬度；

步骤(2)、采用Canopy聚类方法，对测算的小类数据进行预聚类，通过预聚类得到聚类个数；

步骤(3)、将得到的聚类个数作为Kmeans算法的聚类参数，对小类数据再次聚类，从而得到不同的簇；

步骤(4)、识别不同的簇对应的实例硬度，并计算各簇的平均硬度和方差；

步骤(5)、根据平均硬度和方差，按照统计学最优分配原理计算各簇应生成的数据量；

步骤(6)、对各簇样本按硬度大小排序，选择其中低硬度样本作为各簇对应的安全区域；

步骤(7)、在各簇对应的安全区域中，分别由插值法生成指定数量的数据。

进一步的，在所述步骤(1)中，通过测算小类数据的实例硬度的操作步骤如下：

(1.1)、按照欧式距离计算各小类样本的K个近邻样本；

(1.2)、求出K个近邻样本中类别相异的样本数量；

(1.3)、将类别相异的样本数量与K的比值，作为其实例硬度；