[发明专利]可收缩步长的多类别集成学习分类方法

说明书

技术领域

本发明涉及一种可收缩步长的多类别集成学习分类方法。

背景技术

集成学习已经成为机器学习中的一个重要研究方向。因为集成学习有一定的理论基础，并且实现简单，同时较其他分类方法有更高预测准确度和抵御“过学习”的能力，所以得到广泛的认可和应用。随着技术的进步使得数据收集变得越来越容易，使用集成学习去分类多类别的数据也变得越来越常见。

使用集成学习分类是使用一系列基分类器进行学习，并使用某种规则把这些基分类器的结果进行整合，从而获得比这些基分类器拥有更好学习效果和泛化能力的集成分类器。当类别数已知，但数据集中的数据类别未知时，我们常常借助训练数据集来构造集成学习模型。

在多类别情况下，特别是训练步长固定时，由于基分类器在每次模型训练时的“过学习”程度不同等因素的影响，固定的步长往往不能得到优化的分类界面，最终无法获得理想预测精度，提供理想的分类预测参考。为了解决这个问题，有学者把集成学习转化成最优化问题，在每次迭代中对训练步长做线搜索，即每次迭代计算并估计最优步长。但是，即使是使用线搜索，也只是获得步长的估计最优值，而不是精确最优值。另外，在每次迭代使用线搜索计算而产生的时间代价较大。

发明内容

本发明的目的在于解决现有技术存在的问题，提供一种可收缩步长的多类别集成学习分类方法。

为达到上述目的，本发明采用的如下技术方案：

一种可收缩步长的多类别集成学习分类方法，其特征在于该方法具体步骤如下：

A.      将原始数据进行预处理，转换成分类方法可以处理的数据格式，同时获得训练数据集和待分类数据集；

B.      初始化训练数据集样本权重；

C.      从m=1到M迭代，依据训练数据集样本权重以及训练步长，训练M个基分类器；

D.      集成步骤C中的所有基分类器，得到最终判别分类器，对待分类数据集进行分类；

E.      将分类结果保存到文件中，提供分类预测的参考。

上述步骤A的操作步骤如下：

A1. 训练数据集的预处理：每条数据必须有固定的f个属性值，在最后还要添加一个类别属性，表示这条数据的类别已知，总共为f+1个属性值；

A2. 待分类数据集的预处理：待分类数据集的每条数据形式必须与训练数据集的前f个属性形式一致，并且无类别属性值字段，总共为f个属性值。

上述步骤B中初始化训练数据集样本权重的操作步骤是：令每个样本的权重                                                = 1/n , i=1, 2, 3…n，其中n为样本个数。

上述步骤C的操作步骤如下：

C1. 依据训练数据集，以权重训练得到基分类器()；

C2). 计算基分类器()错误率：

C3. 计算基分类器()可信度：

其中变量r为基分类器当前训练步长

C4. 从i=1到n，更新训练数据集样本权重：

；

C5. 重新规范化，使其总和为1；

C6. 计算本次迭代后的判别分类器:

C7. 判断是否需要收缩训练步长，如需，则收缩步长并重新计算步骤C3），C4），C5），C6）,保存本次迭代后的最终判别分类器。

C8）若M次迭代结束，则退出迭代，否则跳转到C1）继续迭代。

上述步骤C7中判断是否需要收缩训练步长的依据是：如果Margin()>Margin()并且Accuracy()<Accuracy()，则收缩步长使得r=（）并重新计算步骤C3），C4），C5），C6）；否则，不做更改， 最后，保存本次迭代后的最终判别分类器，其中Margin计算训练模型的空白边界，Accuracy计算训练模型的训练准确率，迭代次数m →，算法趋于收敛。

上述步骤D的操作步骤如下：

D1. 集成并计算判别分类器，输出M个基分类器集成后的判别分类器，采用的计算公式为：

其中即为集成学习所输出的判别分类器。累加所有基分类器的判别概率，取K类中最大的即为判别结果。其中包含的权重含有基分类器权重，是经过步长调整后的权重；

D2. 使用步骤D1中计算的判别分类器，为待分类数据集中的所有样本进行分类。