[发明专利]一种图像标注方法

权利要求书

1.一种图像标注方法，其特征在于，包括以下步骤：

步骤1)定义图像标注模型的目标函数；

步骤2)将图像输入CNN模型，得到原始图像特征；

步骤3)对原始图像特征进行加权；

步骤4)向LSTM模型中输入信息；

步骤5)对预测结果产生的误差进行反向传播。

2.根据权利要求1所述的图像标注方法，其特征在于，步骤1)中的目标函数为

3.根据权利要求1-2所述的图像标注方法，其特征在于，步骤2中的原始图像特征为CNN全连接层之前的某层卷积层的特征图，该原始图像特征由L个D维特征组成，每个D维特征映射到原图像的不同位置区域。

4.根据权利要求1-3所述的图像标注方法，其特征在于，步骤3包括利用聚焦权重向量α_t对原始图像特征进行加权，聚焦权重向量α_t是一个L维向量，每一维的值大小代表着图像不同位置特征的权重大小。

聚焦权重向量α_t＝softmax(W_ee_t)，其中，

e_t代表t时刻聚焦机制的中间状态信息，a代表原始图像特征，h_t-1代表t-1时刻LSTM模型的输出。

5.根据权利要求1-4所述的图像标注方法，其特征在于，步骤4)中，LSTM的输入信息x_t＝[W_yy_t-1，W_zz_t]，其中W_y为词编码参数，W_z为图像特征编码参数，其中y_t-1是图像的正确标注词，z_t是当前时刻使用聚焦权重参数加权后的图像特征。

6.根据权利要求1-5所述的图像标注方法，其特征在于，图像的正确标注词组Y＝(y₀，y₁，y₂...y_t...y_n)从t＝1时刻开始按顺序输入到LSTM模型当中，其中y₀是一个特殊的单词“start”，标志着标注过程的开始，y_n是另一个特殊单词“end”，标志着标注过程的结束；y_t-1经词向量编码参数W_y编码后输入到LSTM模型中；z_t经图像特征编码参数W_z编码后输入到LSTM模型中。

7.根据权利要求1-5所述的图像标注方法，其特征在于，正确标注词采用独热编码形式，由一个N维向量构成，N代表单词词典内的单词数目，除对应标注词位为1外，其余位为0。

8.根据权利要求1-7所述的图像标注方法，其特征在于，步骤5)包括利用损失函数将所有预测标注词标注正确的log似然概率值求和后取负数，所述损失函数定义为

L(I,y)=-Σt=1Nlog pt(yt).]]>

9.根据权利要求1-8所述的图像标注方法，其特征在于，步骤5)还包括应用随机梯度下降法以及链式求导法则不断更新模型中的参数。

10.根据权利要求1-9所述的图像标注方法，其特征在于，LSTM模型的计算过程公式如下：

i_t＝σ(W_ixx_t+W_ihh_t-1)，

o_t＝σ(W_oxx_t+W_ohh_t-1)，

f_t＝σ(W_fxx_t+W_fhh_t-1)，

c_t＝f_t⊙c_t-1+i_t⊙h(W_cxx_t+W_chh_t-1)，

h_t＝o_t⊙c_t，

y_t+1＝Softmax(W_yh_t)。