[发明专利]一种融合增量学习的支持向量机多类分类方法

说明书

技术领域

本发明涉及智能信息处理和机器学习技术领域，尤其是一种融合增量学习的支持向量机多类分类方法。适用于在复杂属性条件下，通过增量学习的方式对海量信息进行高效多类分类。

背景技术

支持向量机(SupportVector Machine)是近几年发展起来的一种机器学习方法，它是基于结构风险最小化原则构建的，具有很强的学习能力和泛化性能，能够较好地解决小样本、高维数、非线性、局部极小等问题，广泛的应用于模式分类和非线性回归。传统的支持向量机是针对二类分类问题而提出的，不能直接用于多类分类，但在实际的应用中更多的是多类分类问题，如何将传统支持向量分类机推广到多类分类仍是目前支持向量机领域研究的热点。

增量学习技术相比于传统的学习方法具有明显的优越性，主要表现为：(1)增量学习算法可以充分利用历史的训练结果，从而减少后继训练时间；(2)无须保存历史数据且可舍弃无用样本减小训练集，从而减少了存储空间的占用；(3)随着增量学习过程的不断进行，所获得分类器的分类精度将不断提高。

Syed.N(1999年)是最早开始基于支持向量机增量算法研究的学者，在该算法中给出了增量学习的增加策略，每次增量学习后只保留支持向量，丢弃其他的样本。G.Cauwenberghs(2003年)等人提出了在线增量训练的精确解释，即增减一个训练样本对Lagrange系数和支持向量的影响。该算法是有效的，但其缺点是忽略了新增样本分布对已有样本分布的影响，其训练结果并不令人满意。萧嵘等(2001年)提出了一种支持增量学习的方法ISVM，其训练集的来源为支持向量、误分数据或有选择地淘汰一些样本而来，算法具有较高的学习精度。C.Domeniconi(2001年)提出了一种快速支持向量机增量学习算法。上述的这些算法的学习或存在振荡现象或因引入的淘汰机制缺乏新增样本对支持向量集影响的考虑而导致分类知识丢失。Liao DP等人(2007年)提出一种基于密度法的增量学习淘汰算法，该方法能准确地提出边界向量，淘汰掉非边界向量，有效地淘汰掉无用样本，保留重要信息，既保证训练的精度又提高训练的速度，计算简单且易于实现。尽管关于样本的增量学习取得上述一些成果，但有关该领域的增量学习方法的研究还处于初级阶段，且都局限于在两类分类中样本的增加，然而实际中存在大量的多分类问题，如文本分类、信用评估、人脸识别等，因此针对多类别增量学习的研究很必要也很重要。

目前对支持向量机多类分类算法的研究比较多，包括1-a-r(one-against-rest)算法.1-a-1(one-against-one)算法、DDAGSVM(directed acyclicraph SVM)算法等。Ying w等人(2006年)在克服上述算法缺点的基础上提出基于二叉树的支持向量机多分类算法(简称BTSVM)，有较好的分类效果和分类效率，但是该算法的抗干扰能力较差，对训练数据的要求较高，在一定程度上阻碍了其应用。

发明内容

本发明要解决的技术问题是：提供一种融合增量学习的支持向量机多类分类方法，旨在减少样本的训练时间、提高分类器的分类精度及抗干扰性。

本发明所采用的技术方案是：一种融合增量学习的支持向量机多类分类方法，其特征在于包括步骤：

步骤1、在总的样本中随机抽取一部分作为训练样本集D，另一部分作为测试样本集T；

步骤2、对训练样本集D进行预抽取支持向量，获得最终的预抽取训练样本集PTS，剩下的训练样本作为增量样本集B₀；

步骤3、用循环迭代法对预抽取训练样本集PTS进行支持向量机训练，得到多类分类模型M-SVM；

步骤4、对多类分类模型M-SVM进行二叉树处理，得到基于二叉树的支持向量机多类分类模型BTMSVM₀；

步骤5、对多类分类模型BTMSVM₀进行增量学习训练，得到新的多类分类模型BTMSVM₁；

步骤6、将步骤1中的测试样本集T输入到多类分类模型BTMSVM₁进行分类。

步骤2中所述的预抽取支持向量按以下步骤进行：

2.1、对K类样本根据各类样本的数量进行由多到少排序，训练样本中出现最多的类为第1类，以此类推，直至第K类，形成分类序列集合{s₁，s₂...s_k}；