[发明专利]一种基于高斯混合模型的数据过采样方法

权利要求书

1.一种基于高斯混合模型的数据过采样方法，其特征在于，包括如下步骤：

步骤1：用高斯混合模型对样本集中的少数类样本生成概率进行建模；

步骤2：在完成聚类处理后，通过预训练分类器进行簇间交叉验证计算出每个簇的分类错误率，并根据每个簇错误率的相对大小决定其过采样的数量，以簇C_j为例；

步骤3：按照上一步确定的过采样数量，利用SMOTE算法依次为每个簇合成新的样本。

2.如权利要求1所述的一种基于高斯混合模型的数据过采样方法，其特征在于：步骤1具体包括：

假设该混合模型由M个单高斯模型组成，模型形式如下：

其中p(x|θ_i)为第i个高斯分模型，α_i表示第i个分模型的权重，θ_i＝(u_i,Σ_i)表示第i个分模型的均值和协方差参数，θ＝(α₁,α₂,...,α_M；θ₁,θ₂,...,θ_M)，用EM算法(Expectation-Maximum algorithm，最大期望算法)对参数θ进行求解。

参数θ确定后，计算每个少数类样本在该参数下的生成概率，过滤一定数量的低概率样本(预先设定一个概率阈值)，提高整体样本的泛化性；接着按如下方式对剩余样本进行聚类划分：假设需聚类处理的总样本数为N,引入变量γ_jm,表示第j个样本由第m个分模型生成的后验概率：

其中j∈{1,2,...,N},i∈{1,2,...,M}；高斯混合聚类把少数类样本集划分为M个簇C＝{C₁,C₂,...,C_M},每个样本x_j的簇标记λ_j按如下方式确定：

3.如权利要求2所述的一种基于高斯混合模型的数据过采样方法，其特征在于：M的取值依据“肘部”法则确定：依次为K取值2至8去拟合样本并绘制模型对数似然损失值的变化曲线，选择曲线“肘部”位置点对应的取值为M的最终取值。

4.如权利要求1所述的一种基于高斯混合模型的数据过采样方法，其特征在于：步骤2具体包括：

步骤2-1：选择M-1个簇的少数类样本与所有多数类样本一起训练分类器，用剩下一个少数类簇的样本去评估分类器预测效果，计算分类错误率(错误率是分类错误的样本数占分类样本总数的的比例)，如此循环M次，记录各簇的分类错误率(记为ε₁,ε₂,...,ε_M)；

步骤2-2：首先按照下式计算类比率(Class Ratio,CR)：

其中N_j是少数类簇C_j中的样本数量，N是总体少数类样本数量；然后对上式乘以混合权重，得到簇C_j对于总体少数类样本的描述度d_j，计算公式如下：

d_j＝α_j·CR_j (5)

其中α_j是步骤1中计算出的簇C_j的权重；

步骤2-3：根据代价敏感学习思想，按照下式计算每个簇的过采样权重

其中ε_j是簇C_j的分类错误率；

最后按上述采样权重对过采样数量进行分配，计算公式如下：

δ_j＝(S_maj-S_min)×w_j (7)

其中δ_j为簇C_j的最终过采样数量，S_maj为数据集中多数类样本总数，S_min为少数类样本总数。

5.如权利要求1所述的一种基于高斯混合模型的数据过采样方法，其特征在于：步骤3具体包括：首先在簇C_j中随机选择δ_j个样本，如果δ_j大于簇C_j的样本总数，会出现多次选择同一样本的情况；然后对于其中每一个样本，找出其在簇C_j中的K近邻样本，K值依据采样效果确定，任选其一作为合成样本的来源；最后在两个少数类样本点间进行线性插值合成新样本，新样本位置按如下公式计算:

x_syn＝x+rand(0,1)×(x_t-x) (8)

其中x为簇C_j中的任一样本，x_syn为x对应合成的新样本，x_t,t∈{1,2,...,K}为x的K近邻样本之一，rand(0,1)表示0与1之间的随机数。