[发明专利]用于在大规模数据分类问题中训练SVM分类器的方法

摘要

本发明属于统计机器学习技术领域，具体涉及一种用于在大规模数据分类问题中训练SVM分类器的方法。该方法首先训练样本的聚类，根据聚类结果，把具有相同标签的样本分别拟合成高斯模型，作为训练的基本信息单元；然后根据K个高斯模型建立K×K的核矩阵，并建立带约束的二次规划问题，用数值方法求解之；最后利用该二次规划问题的解得到分类器的决策函数，使用该决策函数对测试样本进行预测。本发明方法对时间复杂度和空间复杂度都大有降低；可广泛应用于多媒体信息检索、生物信息识别、金融信息处理等领域。

主权项

1.一种用于在大规模数据分类问题中训练SVA分类器的方法，其特征在于具体步骤如下：(1)训练样本的聚类给定一个包含N＝N++N-个训练样本的集合$L={{\left\{(x_i,y_i)\right\}}^N}_{i=1},$其中N+表示正样本数，N-表示负样本数，样本xi∈RD，其中D为输入空间的维数，标签yi∈{1，-1}；在分类器的训练阶段，对N+个正样本和N-个负样本首先分别进行聚类，得到K+个正集群和K-个负集群，共计K＝K++K-个集群；然后，按照聚类结果的集群标签，把具有相同标签的样本拟合成高斯模型，这样，共得到K+个正样本高斯模型和K-个负样本高斯模型，表示为C＝{(Θk，yk)}Kk＝1，其中生成模型Θk＝(Pk，μk，∑k)包含了第k个高斯模型的先验概率Pk、均值μk、以及协方差矩阵∑k，yk则表示该高斯模型的标签；这里，作为训练基本单元的高斯模型的先验概率按照如下公式计算：Pk+＝Nk+/N+，其中Nk+表示正样本中第k个高斯模型包含的样本数，N+表示正样本的总数；负样本高斯模型的先验概率按照同样方法计算，即Pk-＝Nk-/N-；(2)核矩阵的构建使用步骤(1)中得到的K个高斯模型构建一个K×K的核矩阵，其中每个元素根据公式(2)或公式(3)计算得到：$\kappa ({\Theta }_k,{\Theta }_l)=P_k{P}_l\underset{R^D}{\int }p\left(x\right|{\mu }_k,{\Sigma }_k)p\left(x\right|{\mu }_l,{\Sigma }_l)\mathrm{dx}$ $=P_k{P}_l{\left(2\pi \right)}^{-\frac{D}{2}}{\left|{({\Sigma }_k^{-1}+{\Sigma }_l^{-1})}^{-1}\right|}^{\frac{1}{2}}{\left|{\Sigma }_k\right|}^{-\frac{1}{2}}{\left|{\Sigma }_l\right|}^{-\frac{1}{2}}$ $\exp (-\frac{1}{2}({\mu }_k^T{\Sigma }_k^{-1}{\mu }_k+{\mu }_l^T{\Sigma }_l^{-1}{\mu }_l-{\tilde{\mu }}^T{\tilde{\Sigma }}^{-1}\tilde{\mu }))---\left(2\right)$ 其中${\tilde{\Sigma }}^{-1}={({\Sigma }_k^{-1}+{\Sigma }_l^{-1})}^{-1},$$\tilde{\mu }={\Sigma }_k^{-1}{\mu }_k+{\Sigma }_l^{-1}{\mu }_l,$上标T表示矩阵或者向量的转置。$\kappa ({\Theta }_k,{\Theta }_l)=\frac{P_k{P}_l}{\underset{d=1}{\overset{D}{\Pi }}\sqrt{2\pi ({\left({\sigma }_k^{\left(d\right)}\right)}^2+{\left({\sigma }_l^{\left(d\right)}\right)}^2)}}\exp \{-\frac{1}{2}\underset{d=1}{\overset{D}{\Sigma }}\frac{{({\mu }_k^{\left(d\right)}-{\mu }_l^{\left(d\right)})}^2}{{\left({\sigma }_k^{\left(d\right)}\right)}^2+{\left({\sigma }_l^{\left(d\right)}\right)}^2}\}.---\left(3\right)$ 这里，σk(d)，σl(d)分别为高斯型协方差矩阵∑k和∑l的第d个对角线元素；(3)目标函数的优化使用步骤(2)中得到的核矩阵建立带约束的二次规划问题，即公式(9)，使用数值方法求解该二次规划问题，得到系数αk，k＝1，...，K的值：$\underset{\alpha }{\max }\underset{k=1}{\overset{K}{\Sigma }}{\alpha }_k-\frac{1}{2}\underset{k=1}{\overset{K}{\Sigma }}\underset{l=1}{\overset{K}{\Sigma }}{y}_k{y}_l{\alpha }_k{\alpha }_l\kappa ({\Theta }_k,{\Theta }_l)---\left(9\right)$ s.t.0≤αk≤PkC，k＝1，...，K$\underset{k=1}{\overset{K}{\Sigma }}{\alpha }_k{y}_k=0.$ (4)决策函数的建立把从步骤(3)中得到的系数αk，k＝1，...，K，代入公式(10)，即可得到分类器的决策函数，使用该决策函数对测试样本X进行预测：$f\left(x\right)=\mathrm{sgn}(\underset{k=1}{\overset{K}{\Sigma }}{\alpha }_k{y}_k{P}_{k}p\left(x\right|{\mu }_k,{\Sigma }_k)+b).---\left(10\right).$