[发明专利]一种基于注意力融合的图像描述生成方法

权利要求书

1.一种基于注意力融合的图像描述生成方法，其特征是：使用ResNet-101作为FasterR-CNN特征提取网络，基于空间注意力和高层语义注意力融合的图像描述模型使用FasterR-CNN作为编码器提取图像中物体和显著视觉区域的位置和名称，将目标对应的特征向量和名称分别作为空间注意力机制和高层语义注意力机制的输入，经过注意力模型整合处理后送入解码器，最终由解码器生成单词序列。

2.根据权利要求1所述的基于注意力融合的图像描述生成方法，其特征是：

步骤1、Faster R-CNN物体检测模块作为编码器用于对输入的图像进行目标物体检测，并同时检测出图像中目标物体的位置和名词属性，将其分别作为高层语义注意力和空间注意力来同时指导单词序列的生成；

步骤2、使用Faster R-CNN模型对输入图像进行检测，对其输出使用非极大值抑制，并在其中筛选置信度大于0.3的目标作为注意力机制的输入；对于被检测到的目标物体，其空间位置对应在ResNet-101最后一层卷积层的特征图，将经过平均池化处理的图像特征向量作为空间注意机制的输入，其名称属性经过词嵌入表示为512维的名称属性向量作为高层语义注意力的输入；

步骤3、将ResNet-101最后一层卷积层的特征图进行平均池化处理后的图像全局特征向量作为编码器初始时刻时的输入，图像中目标对应的图像特征向量和名称属性向量经过注意力机制的分配在解码器生成单词的过程中来动态地指导单词序列的生成；

步骤4、Faster R-CNN同时检测提供空间注意力和高层语义注意力，在Faster R-CNN算法中，目标的名称属性是通过目标对应的图像特征信息经过推断得到的，目标对应的图像特征隐式地包含目标名称属性信息；

步骤5、使用的注意力模型根据选取目标对应的特征向量{v₁,v₂,...,v_n}、目标对应的名称属性向量{a₁,a₂,...,a_L}和解码器中长短期记忆网络上一时刻的隐藏状态h_i-1来决定当前时间选取的特征向量和名称属性向量的权重α_ij；

e_ij＝f_att(h_i-1,v_j,a_j) (1)

步骤6、使用区域提议网络训练真实区域边界框生成提议，将多个目标物体和对象区域提议进行集成生成图像描述的区域提议；

步骤7、依据当前时刻输入的视觉上下文信息z_i，将图像全局特征V分别通过两个独立的多层感知机计算得到长短期记忆网络的细胞单元状态和隐藏状态的初始值；

c₀＝f_init,c(V) (3)

h₀＝f_init,h(V) (4)

步骤8、根据前一时刻的输出y_i-1、前一时刻的隐藏状态h_i-1和视觉上下文z_i计算得到当前时刻的隐藏状态h_i；

h_i＝LSTM(y_i-1,h_i-1,z_i) (5)

步骤9、由当前时刻的隐藏状态、视觉上下文信息以及前一时刻的输出通过Softmax得到当前输出单词的概率分布；

p(y_i|z_i,y_i-1)＝softmax(Ey_i-1+L_hh_i+L_zz_i) (6)

步骤10、使用交叉熵损失函数进行训练，给定人工标注描述y^*，使用θ表示模型中的参数，交叉熵损失函数L(θ)的表达式为：

式中：表示L2正则化项。