[发明专利]针对非均衡数据的特征选择和聚类抽样集成二分类方法

权利要求书

1.针对非均衡数据的特征选择和聚类抽样集成二分类方法，其特征在于，包括如下步骤：

步骤1，将所采集到的数据集中的不完整的数据、噪声数据以及不可用的数据删除，得到训练集D；

步骤2，基于改进的RELIEF-F方法实现特征选择，得到特征权重集合W＝{w(1),...,w(j),...,w(J)}；

步骤3，对训练集D中的数据进行聚类，从而将训练集D分成K个簇；

步骤4，构建均衡的训练数据集，得到K个均衡的子训练集D₁,...,D_K；

步骤5，对D₁,...,D_K分别训练K个基分类器，完成训练过程；

步骤6，在新数据到来后，分别通过K个训练好的基分类器得到识别结果，再通过投票法，用少数服从多数的原则，来确定测试样本的类别。

2.根据权利要求1所述的针对非均衡数据的特征选择和聚类抽样集成二分类方法，其特征在于，步骤2中，得到特征权重集合W＝{w(1),...,w(j),...,w(J)}的具体步骤为：

步骤2.1，初始化特征权重，随机选择训练集D中的一个样本，分别选取该样本的V个最近邻同类样本和异类样本，按照下式计算特征权重：

式中，w(j)表示第j个特征的权重，x_i(j)表示样本第j维特征的数值，d(x_i(j),NM_i(j))表示两个样本关于j维特征的距离，M表示样本随机抽取的次数，k是预先给定的近邻数，class(x_i(j))表示样本x_i的类别，c表示类别，p(c)表示类别c的先验概率；

步骤2.2，重复步骤2.1，遍历子训练集D中的所有样本，更新特征权重，从而得到特征权重集合W＝{w(1),...,w(j),...,w(J)}。

3.根据权利要求1所述的针对非均衡数据的特征选择和聚类抽样集成二分类方法，其特征在于，步骤3中，将训练集D分成K个簇的具体步骤为：

步骤3.1，将训练集D作为一个簇，使用二分K均值方法将该簇一分为二，然后根据下式计算误差平方和E：

上式中，E是数据库中样本的平方误差的总和，clu_k表示簇k，x_i是数据样本，x_i∈clu_k表示x_i在簇k中，e_k是簇k的中心，dist(.)为基于欧式距离和特征权重的相似度，其定义为：

其中，w(j)为步骤2得到的第j个特征的权重，e_k(j)表示簇k中心的第j维特征的数值；

步骤3.2，分别计算两个簇的总误差平方和E，对总误差平方和E较小的那个簇进行划分，以此类推，直到簇的个数达到K，从而将训练集D分成K个簇。

4.根据权利要求1所述的针对非均衡数据的特征选择和聚类抽样集成二分类方法，其特征在于，步骤4中，得到K个均衡的子训练集D₁,...,D_K的具体步骤为：

步骤4.1，从训练数据集D中选取全部的少数类样本；

步骤4.2，依次计算各个簇中多数类样本与少数类样本的比值，用P_k表示第k个簇中多数类与少数类样本数量的比值，对于每个簇，按照下式计算各个簇中抽取的多数类样本的数量，

式中，S_k表示第k个簇中应该抽取的多数类样本的数量，S表示数据集D中的全部多数类样本数量；

步骤4.3，从当前簇k中所抽出相应数量的多数类样本与全部的少数类样本构成均衡的训练数据集D_k；

步骤4.4，重复步骤4.3对簇进行遍历，从而构成K个均衡的子训练集D₁,...,D_K。

5.根据权利要求1所述的针对非均衡数据的特征选择和聚类抽样集成二分类方法，其特征在于，步骤5中，基分类器为朴素贝叶斯、支持向量机或随机森林。