[发明专利]一种基于高斯混合模型的数据过采样方法

说明书

一种基于高斯混合模型的数据过采样方法，包括下述步骤：首先，针对不平衡数据集，利用高斯混合模型对少数类样本进行去噪以及聚类处理；接着，根据代价敏感学习的思想，对簇间交叉验证下分类器预测错误率更高的簇分配更多的过采样数量；最后，使用标准SMOTE算法在每个少数类样本簇的内部合成相应数量的新样本；本发明在保证数据信息完整性的前提下，利用数据本身的分布信息与代价敏感学习思想对过采样的原样本与数量进行精确控制，增加了过采样样本的泛化信息，降低了分类器分类难度。

技术领域

本发明属于不平衡数据处理技术领域，具体涉及一种基于高斯混合模型的数据过采样方法。

背景技术

传统机器学习算法假设数据在类别上是大致均衡的，当遇到非均衡的数据集时会倾向于将不确定的样本判定为多数类样本，影响了少数类样本的查全率。虽然少数类样本数量较少，但重要程度更高，将少数类样本错分的代价远高于将多数类样本错分的代价。在实际生活中人们接触到的数据集绝大部分是非均衡数据集，需要处理的数据往往是非均衡数据偏多，如金融欺诈交易检测、雷达信号识别、医学诊断、基因序列中一些编码信息、文本分类等等。因此研究如何解决机器学习中的类不平衡问题是很有必要的。数据过采样是机器学习领域解决数据不平衡问题的重要方法。数据重采样主要有欠采样和过采样两种策略。已有研究表明欠采样可能使数据集丢失关于多数类的重要信息，其对分类器总体性能的改善往往低于过采样。

发明内容

为了解决现有过采样技术的缺陷与不足，本发明提出了一种基于高斯混合模型的数据过采样方法。首先，用高斯混合模型对少数类样本的概率建模，并用EM算法迭代求解模型参数；再根据求得的GMM概率分布对少数类样本进行聚类并过滤低概率噪点；接着采用交叉验证并利用相关分类器分别对各个簇进行训练并预测，引入代价敏感学习的思想，将错误率与过采样的数量对应起来，赋予预测错误率较高的簇相对更高的采样权重；最后，采用SMOTE算法对每个少数类样本簇进行过采样，生成新数据使数据集中少数类与多数类样本数量相等。

本发明在保证数据信息完整性的前提下，利用数据本身的分布信息与代价敏感学习思想对过采样的原样本与数量进行精确控制，增加了过采样样本的泛化信息，降低了分类器分类难度。

一种基于高斯混合模型的数据过采样方法，其特征在于，步骤如下：

步骤1：用高斯混合模型对样本集中的少数类样本生成概率进行建模；

步骤2：在完成聚类处理后，通过预训练分类器进行簇间交叉验证计算出每个簇的分类错误率，并根据每个簇错误率的相对大小决定其过采样的数量；

步骤3：按照上一步确定的过采样数量，利用SMOTE算法依次为每个簇合成新的样本。

进一步，步骤1具体包括：假设该混合模型由M个单高斯模型组成，模型形式如下：

其中p(x|θ_i)为第i个高斯分模型，α_i表示第i个分模型的权重，θ_i＝(u_i,Σ_i)表示第i个分模型的均值和协方差参数，θ＝(α₁,α₂,...,α_M；θ₁,θ₂,...,θ_M)，用EM算法对参数θ进行求解。

参数θ确定后，计算每个少数类样本在该参数下的生成概率，过滤一定数量的低概率样本(预先设定一个概率阈值)，提高整体样本的泛化性；接着按如下方式对剩余样本进行聚类划分：假设需聚类处理的总样本数为N,引入变量γ_jm,表示第j个样本由第m个分模型生成的后验概率：