[发明专利]基于正则化动态集成的不平衡数据分类方法

权利要求书

1.基于正则化动态集成的不平衡数据分类方法，其特征在于，包括以下步骤：

步骤一、将测试数据集分离为多数数据集和少数数据集根据多数数据生成K个高斯分布的混合高斯模型；

步骤二、基于不同的高斯质心生成子数据集，具体为：每个高斯质心生成两个不同的子数据集，第一个子数据集将选择个最相关的多数实例，第二个子数据集将选择m_k个最相关的多数实例，其中，m_n是多数数据的大小；m_k是少数数据的大小；所有高斯质心生成的第一个子数据集共同构成第一类子数据集，所有高斯质心生成的第二个子数据集共同构成第二类子数据集；

步骤三、将第二类子数据集与从集合中随机选择的个多数实例组合；

步骤四、将两个生成的多数数据集与少数数据集组合，采用Tomek Link的方式将第一类子数据集中被视为噪声的实例移除；

步骤五、基于每个子数据集生成多个子分类器，并采用梯度提升方法构建各个子分类器；

步骤六、将子分类器线性组合，其中，线性组合模型的系数由具有交叉熵损失的随机梯度下降进行训练；

步骤七、根据加权概率和最佳阈值确定分类结果。

2.根据权利要求1所述的基于正则化动态集成的不平衡数据分类方法，其特征在于，所述步骤一中生成的混合高斯模型的公式为：

其中，N(·|μ,∑)表示多元高斯分布，μ作为均值，∑作为协方差，K为混合高斯模型中子高斯分布的数量，k为混合高斯模型中子高斯分布数量的取值，x为单个数据实例，为子高斯分布的权重。

3.根据权利要求2所述的基于正则化动态集成的不平衡数据分类方法，其特征在于，所述步骤一在配置模型时，采用最大化对数似然来获得参数，获得参数的公式为：

其中，m为数据集的基数，i为数据集基数的取值。

4.根据权利要求3所述的基于正则化动态集成的不平衡数据分类方法，其特征在于，所述混合高斯模型中高斯分布的数量采用贝叶斯信息准则计算，在训练过程中，将给出候选量的高斯质心的池，计算每个模型的BIC并选择具有最小BIC量的一个；贝叶斯信息准则计算公式为：

其中，N_P代表模型的参数数量。

5.根据权利要求1所述的基于正则化动态集成的不平衡数据分类方法，其特征在于，所述步骤五中生成的各个分类器是梯度提升模型，梯度提升模型为：

其中，T为梯度提升的单个子模型第T步骤，α_T为梯度增强模型的学习率，f_t(x；θ_t)为t步的子模型函数，x为数据，θ为子模型的参数。

6.根据权利要求5所述的基于正则化动态集成的不平衡数据分类方法，其特征在于，所述步骤五中采用梯度提升方法构建各个分类器的方法为：

在第T步骤的梯度提升的单个子模型，将相对于模型的损失函数的梯度设置为(T-1)步骤作为当前标签，其表示为：

其中，L(·,·)为任何类型的损失函数，并且对于回归问题和分类问题的交叉熵损失通常是平方损失；在获得当前目标之后，第T步的子模型的参数表示为：

T阶段的整体模型通过学习率α_T来进一步确定，并且通过优化以下目标函数来获得：

α_T＝argminL(y,F_T-1(x；{θ_t}_{t＝1,2,..,T-1})+αf(X；θ_T))

其中，Y为数据的真实类别，α是待优化的参数，其优化结果为α_T；

通过迭代上述三个等式的过程直到它与收敛标准匹配，获得集成的梯度提升模型。