[发明专利]用于在大规模数据分类问题中训练SVM分类器的方法

权利要求书

1.一种用于在大规模数据分类问题中训练SVA分类器的方法，其特征在于具体步骤如下：

(1)训练样本的聚类

给定一个包含N＝N₊+N_-个训练样本的集合L={(xi,yi)}Ni=1,]]>其中N₊表示正样本数，N_-表示负样本数，样本x_i∈R^D，其中D为输入空间的维数，标签y_i∈{1，-1}；

在分类器的训练阶段，对N₊个正样本和N_-个负样本首先分别进行聚类，得到K₊个正集群和K_-个负集群，共计K＝K₊+K_-个集群；然后，按照聚类结果的集群标签，把具有相同标签的样本拟合成高斯模型，这样，共得到K₊个正样本高斯模型和K_-个负样本高斯模型，表示为C＝{(Θ_k，y_k)}^K_k＝1，其中生成模型Θ_k＝(P_k，μ_k，∑_k)包含了第k个高斯模型的先验概率P_k、均值μ_k、以及协方差矩阵∑_k，y_k则表示该高斯模型的标签；这里，作为训练基本单元的高斯模型的先验概率按照如下公式计算：P_k⁺＝N_k⁺/N₊，其中N_k⁺表示正样本中第k个高斯模型包含的样本数，N₊表示正样本的总数；负样本高斯模型的先验概率按照同样方法计算，即P_k^-＝N_k^-/N_-；

(2)核矩阵的构建

使用步骤(1)中得到的K个高斯模型构建一个K×K的核矩阵，其中每个元素根据公式(2)或公式(3)计算得到：

κ(Θk,Θl)=PkPl∫RDp(x|μk,Σk)p(x|μl,Σl)dx]]>

=PkPl(2π)-D2|(Σk-1+Σl-1)-1|12|Σk|-12|Σl|-12]]>

exp(-12(μkTΣk-1μk+μlTΣl-1μl-μ~TΣ~-1μ~))---(2)]]>

其中Σ~-1=(Σk-1+Σl-1)-1,]]>μ~=Σk-1μk+Σl-1μl,]]>上标T表示矩阵或者向量的转置。

κ(Θk,Θl)=PkPlΠd=1D2π((σk(d))2+(σl(d))2)exp{-12Σd=1D(μk(d)-μl(d))2(σk(d))2+(σl(d))2}.---(3)]]>

这里，σ_k^(d)，σ_l^(d)分别为高斯型协方差矩阵∑k和∑l的第d个对角线元素；

(3)目标函数的优化

使用步骤(2)中得到的核矩阵建立带约束的二次规划问题，即公式(9)，使用数值方法求解该二次规划问题，得到系数α_k，k＝1，...，K的值：

maxαΣk=1Kαk-12Σk=1KΣl=1Kykylαkαlκ(Θk,Θl)---(9)]]>

s.t.0≤α_k≤P_kC，k＝1，...，K

Σk=1Kαkyk=0.]]>

(4)决策函数的建立

把从步骤(3)中得到的系数α_k，k＝1，...，K，代入公式(10)，即可得到分类器的决策函数，使用该决策函数对测试样本X进行预测：

f(x)=sgn(Σk=1KαkykPkp(x|μk,Σk)+b).---(10).]]>