[发明专利]一种基于标记协方差和多标记分类的联合学习方法

权利要求书

1.基于标记协方差和多标记分类的联合学习方法，其特征在于，包括如下步骤：

步骤1)，标记相关性矩阵初始化为单位矩阵，即假设初始化时同一标记之间是相关的，而不同标记之间不相关；

步骤2)，运用标记协方差和多标记分类的联合学习算法JLSML学习得到分类模型参数、标记相关性以及阈值函数所对应的参数：交替迭代更新标记相关性矩阵、分类器参数和阈值函数所对应的参数，直到满足迭代终止条件输出学习得到的分类模型参数、标记相关性以及阈值函数所对应的参数；

步骤3)，模型预测：首先运用学习得到的分类模型参数、阈值函数所对应的参数进行标记预测，得到分类结果；然后根据多标记数据的分类模型预测所有待分类的多标记数据的标记；最后输出多标记数据的分类结果。

2.根据权利要求1所述的基于标记协方差和多标记分类的联合学习方法，其特征在于，步骤1)具体包括如下步骤：

步骤1.1)，标记相关性矩阵S＝I_Q，其中，I_Q为Q×Q的单位矩阵；

步骤1.2)，归一化处理，使每个特征对应的特征向量的2范数为1。

3.根据权利要求2所述的基于标记协方差和多标记分类的联合学习方法，其特征在于，步骤2)具体包括以下步骤：

步骤2.1)，令为预先设定的包含n个样本的训练集，其中，x_i∈R^d表示第i个训练样本，R^d为d维的实数空间，Y_i∈{+1,-1}^Q表示其相应的标记向量，d表示特征空间的维数，Q表示标记个数；

若Y_iq＝+1，则表示第i个样本隶属于第q个标记，否则表示第i个样本不隶属于第q个标记；

步骤2.2)，令虚拟标记v作为样本的相关标记和不相关标记的自然划分点，虚拟标记v所对应的函数参数为w_v∈R^d和b_v∈R，对应的函数为其中，R为实数空间；

步骤2.3)，将多标记分类问题转化为Q个两类分类问题，第q个标记所对应的判别函数定义如下：

fq(x)=wqTx+bq]]>

其中，w_q∈R^d和b_q∈R分别表示第q个线性分类函数所对应的权重和偏差；

若f_q(x)≥f_v(x)，则认为第q个标记为样本x的相关标记，否则为样本x的不相关标记；

步骤2.4)，建立基于标记协方差和多标记分类的联合学习算法JLSML的模型：

minW,wv,b,bv,SCΣq=1QΣi=1nξiq+12Σq=1Q||wq||2+12||wv||2+λ2tr(WS-1WT)]]>

s.t.Yiq(wqTxi+bq-wvTxi-bv)≥1-ξiq]]>

ξ_iq≥0,i＝1,...,n；q＝1,...,Q

S≥0

tr(S)＝1

式中，第一项为损失项，第二项和第三项用来控制模型的复杂度，第四项为度量标记之间的相关性，并且约束协方差矩阵S是半正定的，tr(·)表示矩阵的迹，λ为正则化参数，W为权重矩阵，b＝[b₁,…,b_Q]为偏差向量，ξ_iq为松弛变量，x_i为第i个训练样本；

步骤2.5)，将联合学习算法JLSML模型拓展到再生核希尔伯特空间中学习，即将d维空间中的样本x转化为希尔伯特空间中的φ(x)，其中φ:表示由核引导的特征映射，则：

minW,wv,b,bv,SCΣq=1QΣi=1nξiq+12Σq=1Q||wq||2+12||wv||2+λ2tr(WS-1WT)]]>

s.t.Yiq(wqTφ(xi)+bq-wvTφ(xi)-bv)≥1-ξiq]]>

ξ_iq≥0,i＝1,...,n；q＝1,...,Q

tr(S)＝1

步骤2.6)，固定S，更新联合学习算法JLSML模型的对偶函数解；

步骤2.6.1)，当S固定时，优化W,w_v,b和b_v，则：

minW,wv,b,bvCΣq=1QΣi=1nξiq+12tr(W(IQ+λS-1)WT)+12||wv||2]]>

s.t.Yiq(wqTφ(xi)+bq-wvTφ(xi)-bv)≥1-ξiq]]>

ξ_iq≥0,q＝1,...,Q；i＝1,...,n

步骤2.6.2)，令拉格朗日函数为：

L=CΣq=1QΣi=1nξiq+12tr(W(IQ+λS-1)WT)+12||wv||2-Σq=1QΣi=1nαiq(Yiq(wqTφ(xi)+bq-wvTφ(xi)-bv)+1+ξiq)-Σq=1QΣi=1nβiqξiq]]>

其中，α_iq,β_iq≥0为拉格朗日乘子；

步骤2.6.3)，分别对L关于W,w_v,b_q,b_v和ξ_iq求导，并令它们等于0：

∂L∂W=W(IQ+λS-1)-Σq=1QΣi=1nαiqYiqφ(xi)eqT=0⇒W=Σq=1QΣi=1nαiqYiqφ(xi)eqT(IQ+λS-1)-1]]>

∂L∂wv=wv+Σq=1QΣi=1nαiqYiqφ(xi)=0⇒wv=-Σq=1QΣi=1nαiqYiqφ(xi)]]> 2

∂L∂bq=-Σi=1nαiqYiq=0⇒Σi=1nαiqYiq=0]]>

∂L∂bv=Σq=1QΣi=1nαiqYiq=0⇒Σq=1QΣi=1nαiqYiq=0]]>

∂L∂ξiq=C-αiq-βiq=0⇒αiq+βiq=C]]>

则

min{αq}q=1Q12Σq=1QΣi=1nΣr=1QΣj=1nαiqαjrYiqYjr[eqT(IQ+λS-1)-1er+1]k(xj,xi)-Σq=1QΣi=1nαiq]]>

s.t.Σi=1nαiqYiq=0]]>

0≤α_iq≤C,q＝1,...,Q；i＝1,...,n

其中，α_q＝[α_1q,...,α_nq]^T，k(x_j,x_i)＝＜φ(x_j),φ(x_i)＞，k(·,·)为核函数；

步骤2.6.4)，采用基于Frank-Wolfe方法的有效训练算法来求解拉格朗日乘子

步骤2.7)，由求W,w_v,b和b_v，并根据如下KKT条件来计算b_q-b_v：

Yiq(wqTφ(xi)-wvTφ(xi)+bq-bv)=1if0≤αiq≤C,q=1,...,Q;i=1,...,n]]>

即

Yiq(Σr=1QΣj=1nαjrYjr(eqT(IQ+λS-1)-1er+1)k(xj,xi)+(bq-bv))=1if0≤αiq≤C,q=1,...,Q;i=1,...,n;]]>

步骤2.8),固定更新S：

minStr(S-1WTW)]]>

tr(S)＝1

其中，

tr(S-1WTW)=tr(S-1WTW)tr(S)=tr(S-12(WTW)12(WTW)12S-12)tr(S12S12)≥(tr(S-12(WTW)12S12))2=(tr((WTW)12))2]]>

则

S=(WTW)12tr((WTW)12)]]>

步骤2.9)，判断S是否收敛或达到预设的最大迭代次数，若S没有收敛或达到预设的最大迭代次数，则跳转执行步骤2.6)，直至满足终止条件；

步骤2.10)，得到标记相关性矩阵、分类器和阈值函数对应的参数。

4.根据权利要求3基于标记协方差和多标记分类的联合学习方法，其特征在于，所述步骤3)具体包括如下步骤：

步骤3.1)，对未标记样本进行归一化处理；

步骤3.2)，计算未知样本x_u在第q个标记上的判别函数值

其中，为样本x_u的特征映射；

步骤3.3)，计算未知样本x_u的类别标记向量：

其中，sgn(·)为符号函数；

步骤3.4)，输出每个样本对应的标记集。