[发明专利]一种多核支持向量机分类方法

摘要

本发明提出了一种多核支持向量机分类方法，涉及人工智能领域，特别是数据挖掘技术。本发明包括数据预处理部分、核函数选择部分、支持向量机实现部分、人机交互部分。工作过程是：用户提交数据的分类请求给DPP；然后由KSP选择核函数；SILP求解模块将多核支持向量机问题转化为SILP问题进行求解；条件检测模块检测条件是否满足，若满足条件，则HIP将结果返回给用户，否则更新参数和目标函数，再调用SILP求解模块进行求解。本发明通过多个核函数来提高支持向量机处理复杂数据的能力，同时为了避免核函数的增加提升模型的复杂性和计算复杂性，将多核支持向量机问题转化为半无限线性规划问题，并通过一种全局收敛的方法进行求解。

主权项

1.一种多核支持向量机分类方法，其特征在于包括以下步骤：第一步、用户将数据的分类请求提交给DPP；第二步、KSP选择核函数；这里有三种核函数供选择：Gaussian Kernel、Spectrum Kernel、Weighted Degree Kernel；本发明是多核支持向量机的分类方法，它强调多个核函数的使用，其中每个核函数可以从Gaussian Kernel、Spectrum Kernel、Weighted Degree Kernel中任选一个；Gaussian Kernel的公式：$K_G(x_i,x_j)=e^{-\frac{1}{2{\sigma }^2}{\left(\right||x_i-x_j|\left|\right)}^2},---\left(1\right)$ 满足$\sup \left\{G^k\left(\alpha \right)\right\}\le \sup \left\{{\beta }^{-1}({\theta }^k+{\lambda }_k)\right\}+N·C+\frac{1}{2}N·C^2;$ 其中σ为函数的宽度参数，控制函数的径向作用范围；sup(·)表示上界函数，α∈RN，0≤α≤C，Gk(α)＝β-1(θk+λk)-S(α)，β∈RK，β≥0，λk＞0，C＞0，N为正整数，$\theta \le \underset{k=1}{\overset{N}{\Sigma }}{\beta }_k{S}_k\left(\alpha \right),$ $S_k\left(\alpha \right)=\frac{1}{2}\underset{i,j=1}{\overset{N}{\Sigma }}{\alpha }_i{\alpha }_j{y}_i{y}_j{K}_k(x_i,x_j)-\underset{i=1}{\overset{N}{\Sigma }}{\alpha }_i;$ Spectrum Kernel的公式：φSK(x)＝(φα(x))α∈A， (2)满足sup{Gk(α)}≤sup{β-1(θk+λk)}+N·C；其中α表示一个字符串，A表示生物信息字母表的顺序，|A|＝1，φα(x)表示α在x中出现的次数，sup(·)表示上界函数，Gk(α)＝β-1(θk+λk)-S(α)，α∈RN，0≤α≤C，β∈RK，β≥0，λk＞0，C＞0，N为正整数，$\theta \le \underset{k=1}{\overset{N}{\Sigma }}{\beta }_k{S}_k\left(\alpha \right),$ $S_k\left(\alpha \right)=\frac{1}{2}\underset{i,j=1}{\overset{N}{\Sigma }}{\alpha }_i{\alpha }_j{y}_i{y}_j{K}_k(x_i,x_j)-\underset{i=1}{\overset{N}{\Sigma }}{\alpha }_i;$ Weighted Degree Kernel的公式：$K_{\mathrm{WD}}(x_i,x_j)=\underset{k=1}{\overset{d}{\Sigma }}{\rho }_k\underset{l=1}{\overset{l-k+1}{\Sigma }}I(u_{k,l}\left(x_i\right)=u_{k,l}\left(x_j\right)),---\left(3\right)$ 满足sup{Gk(α)}≤sup{β-1(θk+λk)}+N·C；其中d，l为正整数，k∈{1，2，…，d}，${\rho }_k=2\frac{d-k+1}{d(d+1)},$uk，l(xi)表示在xi中从第一个位置开始取前k个字符组成的字符串；I(·)表示指示函数，当参数为真值时，函数值为1；否则函数值为0；sup(·)表示上界函数， Gk(α)＝β-1(θk+λk)-S(α)，α∈RN，0≤α≤C，β∈RK，β≥0，λk＞0，C＞0，N为正整数，$\theta \le \underset{k=1}{\overset{N}{\Sigma }}{\beta }_k{S}_k\left(\alpha \right),$ $S_k\left(\alpha \right)=\frac{1}{2}\underset{i,j=1}{\overset{N}{\Sigma }}{\alpha }_i{\alpha }_j{y}_i{y}_j{K}_k(x_i,x_j)-\underset{i=1}{\overset{N}{\Sigma }}{\alpha }_i;$ 第三步、多核支持向量机问题转化为SILP问题；多核支持向量机问题：$\underset{\beta }{\max }\underset{\alpha }{\min }\underset{k=1}{\overset{K}{\Sigma }}{\beta }_k{S}_k\left(\alpha \right)$ w.r.t.α∈RN，β∈RK (4)s.t.0≤α≤C，β≥0，$\underset{i=1}{\overset{N}{\Sigma }}{\alpha }_i{y}_i=0,$ $\underset{k=1}{\overset{K}{\Sigma }}{\beta }_k=1$ 其中$S_k\left(\alpha \right)=\frac{1}{2}\underset{i,j=1}{\overset{N}{\Sigma }}{\alpha }_i{\alpha }_j{y}_i{y}_j{K}_k(x_i,x_j)-\underset{i=1}{\overset{N}{\Sigma }}{\alpha }_i;$Kk(xi，xj)为核函数；多核支持向量机问题转化为SILP问题：$\min G^k\left(\stackrel{-}{\alpha }\right)$ $w.r.t.\stackrel{-}{\alpha }\in R^N---\left(5\right)$ $s.t.G^k\left(\stackrel{-}{\alpha }\right)\ge \sup \left\{G^k\left(\alpha \right)\right\}-{ϵ}_k$ 其中α∈RN，Gk(α)＝β-1(θk+λk)-S(α)；设定初值θ＝0，${ϵ}_k=\frac{1}{k},$τ＝0.5(τ∈[0，1])，λk＞0，ξ为变量，SVMIP启动SILP求解模块对问题进行求解；第四步、根据SILP求解模块得到的结果，SVMIP中的条件检测模块判断后一次(假定为第K+1次)迭代的值θK+1与前一迭代(假定为第K次)θK的差值是否小于等于变量ξ，即‖θK+1-θK‖≤ξ，如果满足，则HIP调用命令交互模块以命令行方式返回给用户，或者HIP调用图形交互模块以图形的方式返回给用户；否则执行第五步：第五步、依据条件检测模块中的条件：$G^k\left(\stackrel{-}{\alpha }\right)\le 0$或者$\tau G^k\left(\stackrel{-}{\alpha }\right)\ge {ϵ}_k;$ 如果满足$\tau G^k\left(\stackrel{-}{\alpha }\right)\ge {ϵ}_k,$调用SVMIP中的参数更新模块，更新${\alpha }^k=\stackrel{-}{\alpha },$如果满足$G^k\left(\stackrel{-}{\alpha }\right)\le 0,$调用SVMIP中的参数更新模块，更新${\alpha }^k=\stackrel{-}{\alpha },$ ${\theta }^{k+1}={\theta }^k+{\lambda }_k;$否则调用参数更新模块更新${ϵ}_k=\tau G^k\left(\stackrel{-}{\alpha }\right),$ ${\theta }^{k+1}={\theta }^k+{\lambda }_k-\frac{G^k\left({\alpha }^k\right)·{\left({\beta }^{-1}\right)}^T}{\left|\right|{\left({\beta }^{-1}\right)}^T\left|\right|};$ 第六步、调用目标函数更新模块更新目标函数Gk+1(α)＝β-1(θk+1+λk)-S(α)，转到第四步执行。