[发明专利]鲁棒最小二乘支持向量机稀疏解的求解方法

摘要

本发明提出了一种鲁棒最小二乘支持向量机稀疏解的求解方法，用于解决现有鲁棒最小二乘支持向量机解的求解方法中存在的解缺乏稀疏性的技术问题，实现步骤为：输入训练数据；构造鲁棒最小二乘支持向量机模型；将鲁棒最小二乘支持向量机模型转化为DC规划；构造基于原空间的鲁棒最小二乘支持向量机模型的DC规划；光滑化基于原空间的鲁棒最小二乘支持向量机模型的DC规划；从样本指标集中选择子集B和矩阵P；求基于原空间的鲁棒最小二乘支持向量机模型的光滑DC规划的稀疏解；判断最优解是否找到。本发明可以得到鲁棒最小二乘支持向量机的稀疏解，可应用在对带有噪声的大数据进行分类和回归领域。

主权项

一种鲁棒最小二乘支持向量机稀疏解的求解方法，包括以下步骤：(1)输入m个训练数据其中是输入样本，y_i是输入样本的标签；(2)利用输入的训练数据，构造鲁棒最小二乘支持向量机模型，其实现步骤为：2a)构造截断最小二乘损失函数：$L_{\mathrm{\τ}}\left(\mathrm{\ξ}\right)=min(\mathrm{\τ},{\mathrm{\ξ}}^2)=\left\{\begin{array}{cc}{\mathrm{\ξ}}^2,& \left|\mathrm{\ξ}\right|\≤\mathrm{\τ}\\ {\mathrm{\τ}}^2,& \left|\mathrm{\ξ}\right|\>\mathrm{\τ}\end{array}\right.,$其中，τ≥0是截断参数，ξ为训练样本的误差，x为输入样本，y是输入样本的标签，w是决策超平面的法向量，b为偏值，为将样本x映射到高维特征空间的函数；2b)构造鲁棒最小二乘支持向量机模型,其表达式为：其中，λ是正则化参数，且λ>0；(3)对构造的截断最小二乘损失函数L_τ(ξ)进行DC分解,得到鲁棒最小二乘支持向量机模型的DC规划，其表达式为：其中，L₁(ξ)＝ξ²，   (3)(4)将得到的鲁棒最小二乘支持向量机模型的DC规划，转化为基于原空间的鲁棒最小二乘支持向量机模型的DC规划，其实现步骤为：4a)利用表示定理，将得到的鲁棒最小二乘支持向量机模型的DC规划中的决策超平面的法向量w写为如下形式：其中，M＝{1,…,m}为样本指标集，α_i为表示系数，且α_i≥0；4b)将式(5)代入式(2)中，得到基于原空间的鲁棒最小二乘支持向量机模型的DC规划为：$\underset{\mathrm{\α},b}{min}H(\mathrm{\α},b)=H_1(\mathrm{\α},b)-H_2(\mathrm{\α},b)---\left(6\right)$其中，$H_2(\mathrm{\α},b)=\frac{1}{2}\underset{i=1}{\overset{m}{\Σ}}{L}_2(y_i-K_{iM}\mathrm{\α}-b)---\left(8\right)$为拉格朗日乘子向量，K为核矩阵，K中第i行第j列的元素为K_iM是一个行向量，K_iM＝(k(x_i,x₁),…,k(x_i,x_m))；(5)对式(4)中函数L₂(ξ)进行光滑化，得到基于原空间的鲁棒最小二乘支持向量机模型的光滑DC规划，具体实施步骤为：5a)利用熵罚函数，构造光滑函数$\stackrel{\‾}{L_2}\left(\mathrm{\ξ}\right)=max\{0,{\mathrm{\ξ}}^2-{\mathrm{\τ}}^2\}+\frac{1}{p}log(1+\exp (-p|{\mathrm{\ξ}}^2-{\mathrm{\τ}}^2|\left)\right),---\left(9\right)$其中，exp表示以常数e为底的指数运算，p是光滑参数，且p>0；5b)用构造的光滑函数在ξ_i处的值替换式(8)中的L₂(y_i‑K_iMα‑b)，得到基于原空间的鲁棒最小二乘支持向量机模型的光滑DC规划:$\underset{\mathrm{\α},b}{min}{H}_1(\mathrm{\α},b)-\frac{1}{2}\underset{i=1}{\overset{m}{\Σ}}\stackrel{\‾}{L_2}(y_i-K_{iM}\mathrm{\α}-b)---\left(10\right)$(6)从步骤4a)的样本指标集M＝{1,…,m}中，选择大小为r的子集B，同时计算矩阵P；(7)求取得到的基于原空间的鲁棒最小二乘支持向量机模型的光滑DC规划的解，具体实施步骤为：7a)运用CCCP方法，求取式(10)中关于α和b的偏导数，并求取该偏导数在(α^(t),b^(t))处的值与α,b的内积，再用求取的内积替换式(10)中的得到如下迭代公式：$({\mathrm{\α}}^{(t+1)},b^{(t+1)})=\arg \underset{\mathrm{\α},b}{min}\left\{H_1\right(\mathrm{\α},b)+\underset{i=1}{\overset{m}{\Σ}}{\mathrm{\γ}}_i^{\left(t\right)}(K_{iM}\mathrm{\α}+b\left)\right\}---\left(11\right)$其中，α^(t+1)和b^(t+1)是在第t+1次迭代的α和b的值，是第t次迭代的γ_i的值：${\mathrm{\γ}}_i^{\left(t\right)}=\frac{1}{2}{\stackrel{\‾}{L_2}}^{\′}\left({\mathrm{\ξ}}_i^{\left(t\right)}\right)=\frac{{\mathrm{\ξ}}_i^{\left(t\right)}min\{1,\exp \[p({\left({\mathrm{\ξ}}_i^{\left(t\right)}\right)}^2-{\mathrm{\τ}}^2)\]\}}{1+\exp (-p|{\left({\mathrm{\ξ}}_i^{\left(t\right)}\right)}^2-{\mathrm{\τ}}^2\left|\right)},i=1,...,m---\left(12\right)$7b)求取式(11)中的目标函数关于α和b的偏导数，并令其分别等于零，得到如下线性方程组：其中，e为元素全为1的m维列向量，是γ在第t次迭代的值；7c)将K的近似代入方程组(13)中，并求解代入后的方程组，得到α_B和b，分别表示为：其中α_B为α的非零部分，和b^(t+1)是第t+1次迭代的α_B和b的值，是核矩阵K的子矩阵，其元素为k(x_i,x_j)，其中i∈M，j∈B，也是K的子矩阵，其元素为k(x_i,x_j)，其中i∈B，j∈B，是m阶单位矩阵；7d)利用不完全选主元Cholesky分解方法，对K_MB和K_BB分别进行分解，得到K_MB的分解式和K_BB的分解式其中是P的子矩阵，且由P中对应于B中元素的行组成；7e)将K_MB的分解式代入式(14)和(15)中，同时将K_BB的分解式代入式(14)中，并整理得到和b^(t+1)的表达式，分别为：其中，是一个r阶单位矩阵；(8)判断是否得到最优的α_B和b，实现步骤为：8a)利用式(16)和(17)计算出的和b^(t+1)，对于所有的i∈M，计算8b)对于所有的i∈M，由8a)计算出的通过式(12)计算得到8c)判断||γ^(t+1)‑γ^(t)||是否大于给定的阈值ρ，若是，执行步骤(7)；否则，结束，其中ρ>0。