[发明专利]基于总间隔的模糊v-相对间隔学习机算法

说明书

技术领域

本发明涉及机器学习领域，具体涉及一种基于总间隔的模糊v-相对间隔学习机算法。

背景技术

基于统计学习理论和大间隔思想的支持向量机（SVM）^[1]及其相关变体是目前实现模式分类的主流方法之一，其通过最大化类间间隔来达到强泛化能力。目前，SVMs在机器学习和模式识别领域得到了广泛而成功地应用^[2]。v-支持向量分类机（v-SVM）^[3]是SVM的一个扩展变体。Sch?lkopf等人^[3]引入一个新的参数v来控制支持向量数下界和训练误差上界，该参数能取代SVM中的参数C。

尽管SVMs方法具有较多明显优势，但也存在一些问题^[4]。针对SVM 易出现过拟合问题，Wang 等人^[4]提出模糊SVM（FSVM），其基本思想是根据样本在它所在类别中的相关性，给每个样本分配不同的隶属度值，使那些相关度较小的样本得到的惩罚也相应较轻。当非均衡样本集中的负样本的个数远远小于正样本的个数时，SVM会发生类边界倾斜现象，从而使SVM 在非均衡数据集中的应用受到了限制，为了自适应非均衡的训练集，引文[5]采用不同代价算法，从而降低了虚警率，提高了识别的准确率。最近，针对SVM对数据仿射或伸缩变化敏感问题，Shivaswamy等人^[6]从概率和仿射不变性的角度提出一种数据依赖（data-dependent）正则化相对间隔学习机（RMM）（为了区别，本文称大间隔方法（SVM）中的间隔为绝对间隔）。RMM通过最大化类间间隔的同时最小化类内模式分布散度来实现二类最大分割，其类间分割间隔度量是基于相对于类内数据分布最小化的相对间隔观。从理论和实验两个方面进行分析证实，RMM具有优于大间隔方法（SVM）的泛化性能。SVM的本质是仅依赖于支持向量，从而使包含在大部分样本（非支持向量）中的信息会丢失，对此，Yoon等人^[7] 提出一种称为总间隔支持向量机（TM-SVM）的模型。该模型同时考虑松弛向量（slack vector）和剩余变量向量（surplus variable vector），最优分割超平面（OSH）的构造不仅受少数的取得极值的样本点控制，还受到被正确划分的样本点的控制。TM-SVM算法在构造OSH过程中将所有样本信息都考虑到了，所以它比软间隔算法SVMs具有更好的泛化能力。

发明内容

本发明的目的是提出一种基于总间隔的模糊v-相对间隔机（TMF-vRMM），TMF-vRMM在传统的RMM中融合FSVM和TM-SVM方法思想，通过对训练集模糊化和引入总间隔算法，训练样本不再采用相同的方式进行处理，而是根据它们相关度的不同而采用不同的处理方式，同时解决了RMM中过拟合和样本不均衡等问题。从而进一步提升RMM的泛化性能。同时，TMF-vRMM通过引入参数v,使得TMF-vRMM具有与v-SVM相同的特性，即参数v能控制间隔误差的上界和支持向量的下界。

本发明的有益效果为：

（1）继承了v-SVM、FSVM和RMM等方法优点，且对这些方法进行了集成和扩展；

（2）在传统RMM算法中引入总间隔和模糊隶属度概念，使得所提方法的优化解具有更强的鲁棒性；

（3）通过引入一个控制间隔误差上界的可调参数v，使得TMF-vRMM具有相较于RMM更好的泛化学习能力。

本发明的目的是通过以下技术方案来实现：

基于FSVM方法思想，通过引入模糊隶属度概念，对每个训练数据赋予一个相对重要程度的隶属度值，指示数据点对所属类的重要度，数据点的重要度与隶属度值成正比。

训练集S被分成两个集合：模糊正训练集                                                和模糊负训练集，分别表示如下：

=，

=，

表示点和分别在正负类中的重要度。变量是一个非常小的正实数。和分别是模糊正训练集和模糊负训练集的个数，且+=。

对于一个包含N个模式的二类分类问题，设其中一类（或正常类）含有个模式，另一类（或异常类）含有个模式，其中，（）为输入数据，为类标签，且当时，；当时，。线性可分情况下，TMF-vRMM描述为：

（1）

s.t

,，，  （2）

，，，  （3）

, （4）

, （5）