[发明专利]跨媒体多视角非完美标签学习方法有效
申请号: | 201210396335.0 | 申请日: | 2012-10-18 |
公开(公告)号: | CN102945255A | 公开(公告)日: | 2013-02-27 |
发明(设计)人: | 祁仲昂;杨名;张仲非;张正友 | 申请(专利权)人: | 浙江大学 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 杭州宇信知识产权代理事务所(普通合伙) 33231 | 代理人: | 张宇娟;施海寅 |
地址: | 310027 浙*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明实施例公开了一种跨媒体多视角非完美标签学习方法,包括以下步骤:对非完美标签训练集进行预处理,在两个相互条件独立的视角上提取训练集的两组特征;利用两组特征和训练集现有的非完美标签,利用一种新的多标签二视角柔性支持向量机中进行训练,得到一组训练参数;利用这组训练参数对训练集在两个视角和中分别独立进行再分类,得到训练集在两个视角中的两组独立的分类结果;对这两组分类结果和进行概率化处理,得到训练集在两个视角中的两组独立的概率化的分类结果;利用提出的一组新的补全和去噪算法,得到训练集新的非完美标签;直到得到的训练集新的非完美标签和原有的非完美标签变化小于设定的阈值,则终止迭代过程。 | ||
搜索关键词: | 媒体 视角 完美 标签 学习方法 | ||
【主权项】:
1.一种跨媒体多视角非完美标签学习方法,其特征在于,包括以下步骤:步骤1,对非完美标签训练集进行预处理,在两个相互条件独立的视角上提取训练集的两组特征,其中对非完美标签训练集
进行预处理的方法为:将非完美标签训练集表示为
训练集的两个相互条件独立的视角分别表示为
和
训练集中的每个点
都被标上了多种多样的标签,整个训练集的标签字典组成了S维的多标签空间
当任何一个标签Tr(1≤r≤S)作为二分类的目标时,其余的标签就会组成一个S-1维的标签特征空间
训练集中的每个点
在两个视角中的特征向量分别表示为
和
在标签字典中的标签向量表示为di=(di,1,di,2,...,di,S)′,其中di,r∈{0,1},1≤r≤S表示字典中的第r个标签Tr是否在Ii中出现,对于每一个标签Tr,1≤r≤S,一个包含有Dr个点的非完美标签训练集表示为
对于
中的每一个点Ii,用yi,r表示Ii的权重,用
和
分别表示分类器对Ii在两个视角
和
中的输出值,用
和
分别表示Ii在两个视角
和
中的校准后验概率,权重yi,r∈[-1,1],值越大代表标签Tr出现在数据点Ii中的概率越大,反之值越小代表标签Tr不会出现在数据点Ii中的概率越大;步骤2,利用所述两组特征和训练集现有的非完美标签,利用提出的一种新的多标签二视角柔性支持向量机中进行训练,得到一组训练参数,其中所述多标签二视角柔性支持向量机的建立方法为:在多标签一对多One Vs All的分类模式中,当一个标签Tr被作为分类目标时,标签字典中其余的标签就会组成一个S-1维的标签特征空间
在空间
中距离越近的点他们的分类相似度也越高,用Li表示Ii在空间
中的特征向量,Li=(di,1,...,di,r-1,di,r+1,...,di,s)′,Li在空间
中的领域,包括Li自己,表示为
Li和其领域
中数据点的分类结果相似度高,和非邻域数据点的分类结果相似度低,令
多标签二视角柔性支持向量机MSS-2K分类器的优化式如下所示;![]()
C ij = C i = j C * / e dis ( L i , L j ) i ≠ j ( C * < C ) ]]>s . t . ∀ i = 1 n : y i ( w ( a ) T x i ( a ) + b ^ ( a ) ) ≥ | y i | 2 - | y i | ξ i ( a ) , ξ i ( a ) ≥ 0 ]]>y i ( w ( b ) T x i ( b ) + b ^ ( b ) ) ≥ | y i | 2 - | y i | ξ i ( b ) , ξ i ( b ) ≥ 0 ]]>![]()
| w ( a ) T x i ( a ) + b ^ ( a ) - w ( b ) T x j ( b ) - b ^ ( b ) | ≤ η ij ( ab ) , η ij ( ab ) ≥ 0 ]]> 其中w(z),
分别是分类器MSS-2K在视角
z=a,b上的系数和偏置,C(a),C(b),C,和C*都是常数;步骤3,在分类器MSS-2K在每个标签Tr(1≤r≤S)上都完成训练之后,得到训练器的一组参数
z=a,b,利用这组训练参数对训练集在两个视角
和
中分别独立进行再分类,得到训练集在两个视角中的两组独立的分类结果
和
训练集中每个数据点在分类器上的输出值
都可以通过计算得到f i , r ( z ) = w r ( z ) T x i ( z ) + b ^ r ( z ) ; ]]> 步骤4,对这两组分类结果
和
进行概率化处理,得到训练集在两个视角
和
中的两组独立的概率化的分类结果
和
其中对分类结果进行概率化处理时,利用Sigmoid模型来计算数据点分类结果的后验概率
后验概率可以通过下式得到:
z=a,b,其中A,B是模型的回归系数,可以通过最大化训练集的后验对数似然函数
得到,H r ( z ) = log Π i = 1 n P [ sgn ( y i , r ) = 1 | f i , r ( z ) ] t i , r P [ sgn ( y i , r ) = - 1 | f i , r ( z ) ] 1 - t i , r ]]>= Σ i = 1 n t i , r log p i , r ( z ) + ( 1 - t i , r ) log ( 1 - p i , r ( z ) ) , z = a , b ]]> 其中t i , r = 1 2 ( 1 + sgn ( y i , r ) ) ; ]]> 步骤5,综合这两组概率化的分类结果,结合训练集现有的非完美标签,利用提出的一组新的补全和去噪算法,进行标签补全和标签去噪,得到训练集新的非完美标签,其中处理噪声标签的算法为:对于每一个
都进行下列步骤,第一步,计算
第二步,进行条件判断:如果sgn ( q i , r t + 1 ) = sgn ( y i , r t ) ]]> 且q i , r t + 1 ]]> 且| y i , r t | > e , ]]> 则sgn ( y i , r t + 1 ) = sgn ( q i , r t + 1 ) , ]]>| y i , r t + 1 | = 1 ; ]]> 否则
其中处理不完整标签的算法为:第一步,对于每一个
计算q i , r t + 1 = p i , r ( a ) t + 1 + p i , r ( b ) t + 1 - 1 ; ]]> 第二步,在sgn ( q i , r t + 1 ) = - 1 ]]> 且sgn ( y i , r 0 ) = 1 ]]> 的条件下,找出Max r = max i q i , r t + 1 ]]> 和Min r = min t q i , r t + 1 ; ]]> 第三步,对于每一个
都进行下列条件判断:(1)如果sgn ( q i , r t + 1 ) = sgn ( y i , r t ) ]]> 且| q i , r t + 1 | > e ]]> 且| y i , r t | > e , ]]> 则sgn ( y i , r t + 1 ) = sgn ( q i , r t + 1 ) , | y i , r t + 1 | = 1 ; ]]> (2)否则如果sgn ( q i , r t + 1 ) = - 1 ]]> 且sgn ( y i , r 0 ) = 1 , ]]> 则y i , r t + 1 = c · ( q i , r t + 1 - Min r ) / ( Max r - Min r ) , ]]> 其中0 < c < 1 2 ; ]]> (3)否则,y i , r t + 1 = q i , r t + 1 ; ]]> 步骤6,迭代步骤2至5,直到得到的训练集新的非完美标签和原有的非完美标签变化小于设定的阈值,则终止迭代过程,非完美标签学习MITL算法如下所示:首先,初始化
其中初始化
的方法为:对于每一个Tr,1≤r≤S,且对于每一个![]()
然后令t=0,当t<最大迭代次数时,对于每一个Tr,1≤r≤S都分别进行下列步骤:(1)从
中随机挑选三分之二的数据点组成集合![]()
(2)用每一个数据点
的
和
来训练分类器MSS-2K;(3)对于每一个
在视角
上计算Ii在分类器MSS-2K中的输出值
z=a,b;(4)在视角
上用每一个数据点
的
和
来训练Sigmoid模型,z=a,b;(5)对于每一个
在视角
上用Sigmoid模型计算每个数据点Ii的
z=a,b,且用
和
来更新每个点Ii的权重
(6)令t=t+1,判断t是否小于最大迭代次数,如果是,则重复(1)至(6),如果不是,则算法结束。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江大学,未经浙江大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201210396335.0/,转载请声明来源钻瓜专利网。