[发明专利]一种Boosting支持向量机学习方法

说明书

技术领域

本发明涉及人工智能技术领域，尤其涉及支持向量机学习和集成学习方法，更具体的是涉及一种Boosting支持向量机学习方法。

背景技术

由Corinna Cortes和Vapnik等提出的支持向量机(Support Vector Machine，SVM)是一种基于统计学习理论的机器学习方法，作为一种新的通用机器学习方法，它具有简洁的数学形式、标准快捷的训练方法和良好的泛化性能，目前已经成功应用于模式识别、回归估计及概率密度估计等众多领域。然而，目前关于SVM的多学习器学习方法研究甚少，而多学习器学习可以有效提高学习的泛化能力。因此，研究SVM的多学习器学习方法具有重要的理论意义和直接的应用价值。

集成学习技术作为多学习器学习方法的一种可以有效地提高机器学习的泛化能力，其研究始于二十世纪九十年代，目前对集成学习理论和算法的研究已成为机器学习的一个热点，国际权威Dietterich将集成学习列为机器学习四大研究之首。集成学习技术现已成功应用于机器学习的多个领域，如：人脸识别、光学字符识别、精确图像分析、医学分析和地震信号分类等。

在集成学习的发展过程中，有两项重要工作对其起到了关键的推动作用：第一、Hansen和

Salamon使用一组神经网络来解决问题，他们尝试通过投票法将所有神经网络结合起来，实验产生了有趣的现象，即这一组神经网络的集成结果并非比最好的个体差些，比最差的个体好些，而是比最好的个体神经网络的性能还好。这一超乎直觉的结果使集成学习引起很多学者的重视，在二十世纪九十年代前期集成学习技术被广泛应用到多个领域并受到良好的效果。第二，Schapire用Boosting算法对Kearns和Valiant提出的弱学习算法与强学习算法的等价性问题进行了构造性证明，因为Boosting算法要求事先知道学习算法的泛化能力下界，而这个下界是难以获得的，所以并不能解决真实问题。Freund和Schapire进一步提出AdaBoost算法，该算法不再要求事先知道泛化下界，可以非常容易的应用到实际的问题中去。Breiman提出了与Boosting相似的技术一一Bagging，进一步促进了集成学习的发展。

集成学习是一个迅速发展中的研究领域，从其出现到目前为止，短短十几年的时间，它己经广泛应用于语言识别、文本过滤、遥感信息处理、疾病诊断等众多领域，尤其是2001年Zhou等人提出了“选择性集成”概念后，在国内外引起了很大的反响，把集成学习带入了一个崭新的发展阶段，使得人们从更深的层次、更广大的领域对集成学习展开了进一步的研究。

有效的集成模型关键是构造的各基分类器应当是准确而有差异的。差异性要求基分类器是相互独立的，事实上，如果基分类器之间是负相关的，则集成可获得更好的泛化性能。一些研究表明，集成学习一定程度上克服了以下三个问题，使得泛化性能得到提高：

1)、统计问题。当可获得的训练样本数目充分时，一些算法确实可以找到最优的学习机。但实际上训练样本是有限的，学习算法只能找到许多预测精度相等的学习机，虽然可以从中选择最简单或者说复杂度最低的，但存在的风险是该学习机对于未知样本的预测精度却很低。采用若干个学习机进行组合可以降低这种风险。

2)、计算问题。寻找对训练数据拟合最好的学习机计算量太大，因而需要采用启发式搜索方法，但是其学习的结果通常与目标存在一定距离。集成学习是对这些并不完美的搜索方法的一种补偿。

3)、描述问题。当学习算法描述能力有限，搜索范围太小，以至于不包含目标函数或者关于目标函数的较好的逼近函数，其学习结果也就无法令人满意。虽然许多学习算法具有一致逼近性，当数据有限时渐进特性不再成立，学习算法的搜索空间是可获得训练数据的函数，可能远小于渐进情形下所考虑的假设空间。集成学习可以拓展函数空间，从而获得对目标函数更准确的逼近。

Boosting算法是在训练中先后产生一系列学习机，各个学习机所使用的训练集都是从总训练集提出来的一个子集，各个样本是否出现在该子集中取决于此前产生过的学习机的表现，已有学习机判断出错的样本将以较大的概率出现在新的训练子集中。这使得其后产生的学习机更加专注于处理对己有学习机来说较为困难的样本区分问题。