[发明专利]基于不平衡分类指标与集成学习的不平衡数据分类方法

摘要

本发明公开了一种基于不平衡分类指标与集成学习的不平衡数据分类方法，主要解决现有技术在不平衡数据上少数类分类精度低的问题。其实现步骤为：(1)选定训练集和测试集；(2)初始化训练样本权重；(3)根据训练样本权重选取部分训练样本对弱分类器进行训练，并用训练好的弱分类器对所有训练样本进行分类；(4)计算弱分类器在训练集上的分类错误率，将错误率与设定的阈值进行比较，并优化错误率；(5)根据错误率计算弱分类器投票权重，并更新训练样本权重；(6)判断弱分类器的训练是否达到最大迭代次数，若达到最大迭代次数，根据弱分类器及其投票权重计算强分类器；否则，返回(3)。本发明提高了少数类的分类精度，可用于不平衡数据的分类。

主权项

基于不平衡分类指标与集成学习的不平衡数据分类方法，包括如下步骤：(1)输入一个包含两类数据的不平衡数据集，并将样本较多的类记作多数类，样本较少的类记作少数类，从该不平衡数据集中随机选取十分之九的样本作为训练样本，将剩余的样本作为测试样本，并设定最大迭代次数T；(2)设训练样本初始权重服从均匀分布，即每一个(x_i,y_i)∈S，其中i＝1,2,...,N，t＝1，N表示训练样本的个数，S表示训练集，x_i表示第i个训练样本，y_i表示第i个训练样本的类别标识，D_t表示第t轮中训练样本的样本权重；(3)根据第t轮中训练样本的样本权重D_t选取第t轮生成的弱分类器的训练样本，用选取的训练样本对支持向量机进行训练，获得第t轮生成的弱分类器h_t，用弱分类器h_t对所有训练样本进行分类，得到训练样本的预测类标h_t(x_i)，其中i＝1,2,...,N；(4)计算第t轮生成的弱分类器h_t在训练集上的错误率：其中，D_t(x_i,y_i)表示第t轮中训练样本x_i的样本权重，h_t(x_i)表示第t轮训练后生成的弱分类器h_t对第i个训练样本x_i的预测类标，y_i表示第i个训练样本的类别标识；(5)将错误率ε_t与设定的阈值k＝0.5进行比较：若ε_t≥k，令最大迭代次数T＝t‑1，转到步骤(9)；若ε_t＜k，则执行步骤(6)；(6)计算不平衡问题的评价指标G，用G优化ε_t，得到优化后的错误率ε_t^*＝ε_t×(1‑G)^λ，其中λ是惩罚参数；(7)根据优化后的错误率计算第t轮生成的弱分类器h_t的投票权重：${\mathrm{\α}}_t=\frac{1}{2}\×\log \left(\frac{1-{{\mathrm{\ϵ}}_t}^{*}}{{{\mathrm{\ϵ}}_t}^{*}}\right);$(8)计算第t+1轮中训练样本权重：其中，$D_{t+1}^{*}\left(x_i\right)=D_t\left(x_i\right)\×\left\{\begin{array}{c}\exp (-{\mathrm{\α}}_t),h_t\left(x_i\right)=y_i\\ 1,h_t\left(x_i\right)\≠y_i\end{array}\right.$为中间变量，式中D_t(x_i)表示第t轮中训练样本x_i的样本权重，α_t表示第t轮生成的弱分类器的投票权重，h_t(x_i)表示第t轮训练后生成的弱分类器h_t对训练样本x_i的预测类标，y_i表示第i个训练样本x_i的类别标识，N表示训练样本的个数；(9)判断t是否达到最大迭代次数T：若t＜T，则t加1，返回步骤(3)；若t≥T，输出强分类器：其中，α_t表示第t轮生成的弱分类器的投票权重，x_j表示第j个测试样本，y_j表示测试样本x_j的类别标识，h_t(x_j)表示第t轮生成的弱分类器h_t对测试样本x_j的预测类标。