[发明专利]基于双向双注意力机制图像描述方法

权利要求书

1.基于双向双注意力机制图像描述方法，其特征在于：按照如下步骤进行

步骤一、图片经过卷积神经网络提取图像特征；

步骤二、卷积神经网络将最后一层卷积层的图像特征V作为注意力机制的输入，输入到含有注意力机制的双向长短期记忆网络中；

步骤三、前向长短期记忆网络中，注意力机制得到上一次双向长短期记忆网络的隐层状态h_t-1，双向长短期记忆网络使用上一次的隐层状态h_t-1，显著图像信息Cf_t-1以及本次的输入x_t预测出当前的隐层状态h_t，再将h_t和V输入到注意力机制中得到当前显著信息Cb_t；

步骤四、后向长短期记忆网络过程与以上相同；

步骤五、双向注意力网络根据前向隐层状态h_t，显著图像信息Cf_t，后向隐层状态g_t，显著信息Cb_t一起进行预测并进行图像描述。

2.根据权利要求1所述的基于双向双注意力机制图像描述方法，其特征在于：

双向长短期记忆网络中评价标准为损失函数

双向长短期记忆网络中前向训练过程公式如下：

i_t＝σ(W_xix_t+W_hih_t-1+C_iCf_t-1+b_i)；

f_t＝σ(W_xfx_t+W_hfh_t-1+C_fCf_t-1+b_f)；

o_t＝σ(W_xox_t+W_hoh_t-1+C_oCf_t-1+b_o)；

c_t＝f_t×c_t-1+i_t×tanh(W_c×x_t+h_c×h_t-1+C_c×Cf_t-1+b_c)；

h_t＝o_t×tanh(c_t)；

双向长短期记忆网络中后向训练过程公式与双向长短期记忆网络中前向训练过程公式一致，结合前向后向的显著信息与隐层状态，预测概率公式为

p_t+1＝Softmax(W_hh_t+W_gg_t+W_fCf_t+W_bCb_t+b)

其中，i_t，f_t，o_t，c_t，h_t，g_t分别是指双向长短期记忆网络中的输入门状态，遗忘门状态，输出门状态，记忆单元状态，前向隐层状态，后向隐层状态，p_t+1详细展开是p(x_t+1|V，x₁，...，x_t)，指在图像信息与上文信息的条件下，当前输出x_t+1的概率，当前时刻的输入x_t是上一时刻的输出y_t-1，p(x_t+1|V，x₁，...，x_t)可表示为p(y_t|V，y₀，...，y_t-1)，简写为p_t+1。