[发明专利]一种基于激活扩散理论的图像标注方法

摘要

本发明公开了一种基于激活扩散理论的图像标注方法，首先，将图像标签看作语义网络的节点，利用渐进相关性模型得到多个图像标签间的联合概率，产生候选图像标签；然后，通过激活扩散理论计算每个候选图像标签的相关值，细化每个候选图像标签的有效传播性，每个候选图像标签都被赋予一个相应的数值，该数值的大小取决于此候选图像标签与其它候选图像标签间的关系，每幅图像的最终标签就是相关值最高的那些候选图像标签。

主权项

1.一种基于激活扩散理论的图像标注方法，其特征是：首先，将图像标签看作语义网络的节点，利用渐进相关性模型得到多个图像标签间的联合概率，产生候选图像标签；然后，通过激活扩散理论计算每个候选图像标签的相关值，细化每个候选图像标签的有效传播性，每个候选图像标签都被赋予一个相应的数值，该数值的大小取决于此候选图像标签与其它候选图像标签间的关系，每幅图像的最终标签就是相关值最高的那些候选图像标签；包括如下具体步骤：（1）输入未标注的图像集；（2）确定候选图像标签确定候选图像标签过程是一个将合适标签分配给未标注图像的过程，在这个过程中要同时考虑视觉信息和标签信息的影响，假设Q为一幅测试图像，S为训练集T中的一幅图像且S的标签集为：A_s=(a₁,a₂，...,a_m)    (1)其中，m是标签个数；通过如下过程计算测试图像Q的标签集的联合分布概率A_Q：第一步：从训练集T中选取图像S的均匀概率为：P(S)=1|T|---(2)]]>其中，|T|表示训练集的大小；第二步：把S选为测试图像Q的概率P(Q|S)为：P(Q|S)=exp(-||Qi-Sj||σ)=exp(-Σr=1d||Qir-Sjr||σr)---(3)]]>其中，Q^r和S^r分别表示测试图像Q和训练图像S的第r维特征，σ^r是一表示第r维特征尺度的正参数，半径参数σ^r取为图像间对应块间第r维特征的L1距离的中值，d是特征空间维数；第三步：利用伯努利模型，计算为Q抽取标签为w_i的概率：P(wi|Q)=μ*βwi,s+Nwiμ+|T|---(4)]]>其中，μ表示平滑参数，当w_i包含于A_s时，β_wi，s＝1，当w_i不在A_s中时，β_wi，s=0，N(w_i)表示w_i出现在训练集中的频率；第四步：最有可能获选的候选图像标签w₁的推导公式为：{w1}]]>=argmax[P(W1|Q)]]]>(5)]]>=argmax[P(W1,Q)](when Q is given)]]>=argmaxΣS∈|T|[P(W1|Q)*P(Q|S)*P(S)]]]>第五步：通过渐进方式推导出其它的候选图像标签：{w1,w2,...,wn}]]>=argmax[P(W1,...,wn|Q)]]]>=argmax[P(W1,...,wn,Q)](when Q is given)]]>(6)]]>=argmaxΣS∈|T|[P(W1,...,wn|Q)*P(Q|S)*P(S)]]]>=argmaxΣS∈|T|[P(W1|Q)*···*P(wn,Q)*P(Q|S)*P(S)]]]>≈argmaxΣS∈|T|[P(W1,..,wn-1|Q)*···*P(wn,Q)*P(Q|S)*P(S)]]]>（3）优化候选图像标签为充分利用候选图像标签的原始信息及更好反映候选图像标签与图像间的相关性，利用激活扩散算法对候选图像标签进行优化：节点x和邻近节点y的激活传播过程可表述为：I_y(t+1)=O_x(t)*Λ_xy*(1-δ)    (7)其中I_y(t+1)表示t+1时刻由x扩散给节点y的值，O_x(t)表示节点x在t时刻的扩散值，Λ_xy表示节点x和y间的联系，δ是一衰减因子，用来描述激活扩散过程中的能量损失；利用简化的激活扩散法计算节点间的相关值，在升1时刻，节点y的扩散值等于该时刻它的输入值，即O_y(t+1)＝I_y(t+1)，因此，整个激活扩散传播过程可用下式表示：O=[Γ-(1-δ)Λ^T]^-1I    (8)其中是一个n×n的单位矩阵，δ是衰减因子，Λ是一个相关性矩阵，其中的元素Λ_ij表示候选图像标签w_i和w_j之间的联系，I＝[I₁，I₂，.......,I_n]^T为输入语义网络的候选图像标签的初始值，O＝[O₁,O₂，....,O_n]^T为最终的扩散向量，其元素O_i表示候选图像标签w_i经过激活扩散过程后的值；向量I＝[I₁，I₂，.......,I_n]^T为激活扩散过程的输入，I_i的计算公式如下：Ii=num(wi)Σi=1nnum(wi)---(9)]]>其中num(w_i)表示候选图像标签为w_i的图像数目；相关性矩阵Λ的生成过程：首先，从训练集中提取出来候选图像标签为w_i和w_j间的语义关系γ_ij；其次，矩阵Λ中的元素Λ_ij是γ_ij在训练集中出现的频率：Λij′=num(wi,wj)min[num(wi),num(wj)]---(10)]]>其中num(w_i，w_j)表示同时包含候选图像标签w_i和w_j的图像个数。该公式表示：两个候选图像标签在训练集中共存的频率越高，以及另一单个标签出现在训练集中的频率越低，则这两个标签的相关性越高。最后标准化Λ：Λij=Λij′ΣalljΛij′---(11)]]>以基于激活扩散理论为基础的优化公式(8)，将每个候选图像标签被优化的相关值计算出来。相关值越高，则表示其相关性越强；（4）最终扩散向量O中值越大的项所对应的候选图像标签就是测试图像的最终标签。