[发明专利]支持向量机分类器的构造方法及装置、分类方法及装置

摘要

本发明提供了一种支持向量机分类器的构造方法及装置、分类方法及装置，包括确定非线性的单变量带权核函数；基于单变量带权核函数确定非凸Lp分式范数罚目标函数；利用非凸Lp分式范数罚目标函数构造支持向量机分类器。本发明与现有技术中对高维小样本数据进行分类时需要遍历所有特征维的组合来寻找所需的特征的技术方案相比，构造的支持向量机分类器用于对高维小样本数据进行分类，产生更稀疏的模型，更准确的实现任意结构的特征选择，得到更好的预测准确度，大幅度地降低了计算复杂度，避免了数据灾难。

主权项

一种支持向量机分类器的构造方法，其特征在于，包括：确定非线性的单变量带权核函数；基于单变量带权核函数确定非凸Lp分式范数罚目标函数；利用非凸Lp分式范数罚目标函数构造支持向量机SVM分类器；其中，单变量带权核函数包括以下至少之一：阶次为q的单变量带权多项式核函数：klV(xil,xjl)＝((Vkkxil)T(Vllxjl)+c)q；单变量带权径向基核函数：单变量带权神经元的非线性作用核函数：klV(xil,xjl)＝tanh(k(Vkkxil)T(Vllxjl)‑δ)；其中，klV(·,·)表示单变量带权核函数；i和j表示样例下标；(xil,xjl)表示样例xi的第l个特征与样例xj的第l个特征对，xi和xj表示第i个样例和第j个样例；c和k表示常数，c＞0；l表示样例特征的下标，xil表示样例xi的第l维特征；V表示权对角矩阵，V∈Rmn×mn，diag(V)＝(V11,…,V1m,V21,…,V2m,…,Vn1,…,Vnm)T，其中，0≤V11,…,V1m,V21,…,V2m,…,Vn1,…,Vnm≤1；q、σ、k和δ表示核参数，σ＞0，R表示实数，m为样例的个数，n为单个样例的维数，V是一个(m×n)×(m×n)的实矩阵；其中，基于单变量带权核函数确定非凸Lp分式范数罚目标函数为：minw,V,C,pC·L(wTkV(x,·),y)+Ω1(w)+Ω2(V)]]>其中，w表示模型向量；C表示L(wTkV(x,·),y)与Ω2(V)之间的权衡参数，C≥0；p表示正则化阶次，0＜p≤2；L(wTkV(x,·),y)表示损失函数；表示以x作为自变量的带权核函数，中的另一个参数“.”代表取具体样例值后的向量占位符，该参数为由样例确定的值；kV(xi,xj)表示单变量带权核函数在xi和xj这两个点上的值，其中，klV(xil,xjl)表示单变量带权核函数，m表示单变量带权核的个数；Ω1(w)表示正则化项；Ω2(V)表示样例特征权矩阵正则化项,y表示与样例x对应的类标签；其中，利用非凸Lp分式范数罚目标函数构造SVM分类器，包括：在Ω2(V)中引入辅助变量θ，构造辅助凸函数g(V,θ)，用g(V,θ)来替代目标函数中的Ω2(V)，得到替代目标函数：minw,V,θ,C,pC·L(wTkV(x,·),y)+Ω1(w)+g(V,θ);]]>其中，g(V,θ)是以和θ为变量的函数，且满足：求解替代目标函数的最优解，根据求得的最优解构造SVM分类器。