[发明专利]一种基于支持向量机的包含未知类别的多分类方法

说明书

技术领域

本发明涉及机器学习领域，具体地说，本发明涉及一种基于支持向量机的包含未知类别的多分类方法。

背景技术

支持向量机(SVM)作为一种典型的机器学习算法，由于其完备的理论支持，在各种分类问题中得到了广泛应用。SVM假设样本数据在原始空间一般不是线性可分的，可以将样本数据从原始空间映射到新的特征空间(新特征空间一般是更高维的)，样本数据在新特征空间的对应点为二分类SVM的目标可以描述为利用样本数据在特征空间中寻找一个线性超平面其中是线性超平面的法向量，b是偏移量，如果f(x_i)＞0 则y_i＝+1表示该样本数据属于正类别，如果f(x_i)＜0则y_i＝-1表示该样本数据属于反类别。最优的线性超平面应该使得样本数据离该线性超平面的最小距离最大化，数学形式表示为满足约束条件其中C是经验系数，ξ_i为松弛变量，对少数不满足硬性约束条件的样本数据放松约束(代价是目标函数被惩罚)。

对于多分类SVM，任取两种类别的样本数据采用上述方式进行训练，分别得到分类模型(线性超平面)，新样本数据最终属于哪个类别由所有分类模型投票产生。例如N分类SVM可以分解为N(N-1)/2个二分类SVM，如果N(N-1)/2个二分类SVM选取相同的核函数(特征空间映射函数)以及相关参数，相当于N(N-1)/2个线性超平面将整个特征空间进行划分，如图1 所示。

目前几乎所有的机器学习算法，其判断结果均为已知类别，例如数字0-9 的手写输入识别，无论输入何种数据，机器学习算法均会从这10个数字中选中其中一个作为识别结果，对于无效的随机输入数据，更理想的处理结果是输出一个未知类别来表示无效输出。在人机交互领域，该缺陷引起的问题并不明显，对于无效的识别结果，人类可以简单判别并忽略该输出。但在一些全自动领域，由于异常条件的存在，则必须自动判断输入数据是否正常或有效。

对于SVM，目前可以采用如下三种方式解决该问题。

第一种方式是在训练阶段获取未知类别的样本数据，对于数字识别即为采集各种随意输入的数据，例如波浪线(～～)、勾(√)、叉(×)等不属于数字0-9类别的数据，从而得到包含11种类别的样本数据，然后使用传统的 SVM训练整个样本数据集得到分类模型。这种方式的缺点是明显的，未知类别的类别数目本身就是无穷的，因此采集的样本数据无法覆盖所有分布。

第二种方式是采用概率的形式，训练得到的是含有概率的分类模型，预测阶段输出的是每个新样本数据属于各种类别的概率而不是单一的类别结果。这种方式可以部分解决该问题，尤其是预测阶段输出的前几个最大概率大小相当时，基本可以认定新样本数据是未知类别，因为属于已知类别时应该是对应该类别的概率值远远大于对应其他类别的概率值。如果某一已知类别和未知类别的某一子类别相对“接近”，该方式将会明显判断失误，例如数字1-9的识别，当实际输入“0”时，分类模型也将认为对应类别“6”的概率值远远大于对应其他类别的概率值。因此该方式是一个充分条件而非必要条件。

第三种方式是联合使用SVM的变种算法——支持向量数据描述 (SVDD)算法。在训练阶段，首先将所有已知类别的样本数据作为正常类别，其次利用这一正常类别的样本数据训练得到SVDD模型，然后使用传统的SVM训练整个样本数据集得到SVM模型。在预测阶段，首先根据SVDD 模型判断新样本数据是否正常，如果正常，则使用SVM模型判断新样本数据具体属于哪一个类别。这种方式的主要缺点存在于SVDD阶段，由于只有一种类别的样本数据，训练得到的SVDD模型一般较为粗糙，同时缺少其他类别样本数据的限制和矫正，SVDD模型也容易产生过拟合，因此对于新样本数据是否正常的判断精度本身就较差，亦即对新样本数据是否属于未知类别的判断精度较差。

发明内容

因此，本发明的任务是提供一种更加适于含有未知类别的应用场景的基于支持向量机的多分类解决方案。

根据本发明的一个方面，提供了一种基于支持向量机的包含未知类别的多分类方法，包括下列步骤：

1)对于待识别样本，分别基于每个训练后的第i类别分类器，识别出该待识别样本是否属于第i类别；其中，i＝1、2、……N；所述第i类别分类器是用已知的属于第i类别的样本构建正样本集，用已知的属于其余N-1 类别的所有样本构建负样本集，基于SVM模型进行训练而得到的二分类分类器，该二分类分类器用于识别所输入的样本是否属于第i类别；