[发明专利]基于引入隐藏信息支持向量数据描述算法的智能分类方法

说明书

本发明涉及一种基于引入隐藏信息支持向量数据描述算法的智能分类方法，包括步骤一、在LUPI框架下，引入隐藏信息；步骤二、将隐藏信息与松弛因子关联，即利用非线性映射将引入隐藏信息的新的训练样本映射到高维的特征空间；步骤三、根据SVDD原理，进一步得出引入隐藏信息的SVDD+的优化方程；步骤四、利用拉格朗日乘子法求解该SVDD+优化方程，获得判决超球体；步骤五、利用该判决超球体，对待预测样本进行预测分类；以支持向量数据描述算法为基础，利用样本的隐藏信息以优化算法，体现了模式的内在联系，是一种整体性能更优、适用领域更广、识别结果更符合实际需求的智能分类器设计方法。

技术领域

本发明涉及模式识别中的智能分类器领域，特别是涉及一种基于引入隐藏信息支持向量数据描述算法的智能分类方法。

背景技术

目前，经典的KNN，SVM，ELM，决策树，神经网络，以及支持向量数据描述(SVDD)等分类算法及其改进方案在部分特定应用领域已经取得了较好的分类效果。

其中，作为本发明算法基础的支持向量数据描述算法(SVDD)是Tax等人于1999年提出的一种有监督的单分类算法，其在异常行为检测、异常识别等领域已有广泛应用。目前，提高SVDD分类性能最常用的方法是优化SVDD超球体的边界，由于在构造支持向量数据描述超球体时，决策边界的支持向量非常少，所以即使利用核函数，也会得到很差的决策边界，导致支持向量数据描述的识别率很低。

可以发现，上述较为成熟的分类算法问题在于大多着眼于分类，基本忽略了模式的内在信息，在很大程度上导致了分类器设计与模式之间的脱节。

针对上述问题，通过利用样本集中的隐藏信息来改进传统的分类学习已成为近年来机器学习领域的一个热点。最近，Vapnik提出了一种解决这种问题的新方法称之为Learning Using Privileged Information(LUPI，特权信息学习)和Learning WithStructured Data(LWSD，结构数据学习)。但该算法忽略了隐藏信息，数据集中的一些隐藏信息不能被有效利用，仍然会导致分类方法准确度不高的问题。

基于上述LUPI和LWSD优化规则，本发明对原有SVDD算法进行改进，创新性地提出了引入隐藏信息(PrivilegedInformation)的支持向量数据描述算法(SVDD)称为SVDD+。

目前，随着分类器应用领域的不断扩展和实际问题复杂程度的增加，出现了诸如类别标签数量较多、目标识别与异常点检测困难、数据可分性差等新问题。而传统分类器算法无法对这些问题给出满意的处理结果，严重制约了模式识别技术的发展。相比之下，本发明所提出的引入隐藏信息的支持向量数据描述算法(SVDD+)由于充分利用了隐藏信息，从而有效地提高分类准确性。

发明内容

为了解决现有技术中存在的传统分类器不能对标签数量较多、目标识别与异常点检测困难、数据可分性差等问题给出满意的处理结果，以及数据集中的一些隐藏信息不能被有效利用，仍然会导致分类方法准确度不高的技术问题，本发明提供了以下技术方案：

基于引入隐藏信息支持向量数据描述算法的智能分类方法，包含以下步骤：

步骤一、在LUPI框架下，引入隐藏信息；

步骤二、将隐藏信息与松弛因子关联，即利用非线性映射将引入隐藏信息的新的训练样本映射到高维的特征空间；

步骤三、根据SVDD原理，进一步得出引入隐藏信息的SVDD+的表达式，该表达式为一优化方程；

步骤四、利用拉格朗日乘子法求解该优化方程，得到高维特征空间中体积最小的判决超球体；

步骤五、利用步骤四所获得的判决超球体，对待预测样本进行预测分类。