[发明专利]一种图像语义描述的生成方法

权利要求书

1.一种图像语义描述的生成方法，其特征在于，包括以下步骤：

S1，提取图像的全局特征和局部特征；

S2，将所述全局特征和所述局部特征进行组合得到组合信息；

S3，通过自适应注意力机制并根据所述组合信息聚焦图像特征及聚焦文本生成语义描述模型，利用所述语义描述模型生成图像语义描述的词句。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1中提取图像的全局特征和局部特征，包括：

利用ImageNet训练VGG16的权重参数，通过VGG16的fc7层输出作为图像的全局特征向量，表示为G的4096维矢量；

对Faster R-CNN输出窗口选择置信度最高的n个局部特征，该局部特征向量表示为L＝{L₁,L₂,…,L_n}，其中n<＝10。

3.根据权利要求1所述的方法，其特征在于，所述步骤S2中将所述全局特征和所述局部特征进行组合得到组合信息包括：

图像的全局特征和局部特征输入编码器进行组合后，由编码器输出表示为I＝{G,L₁,L₂,…,L_n}的4096维向量集合，该向量集合由n+1个4096维向量构成，其中n<＝10。

4.根据权利要求1所述的方法，其特征在于，所述步骤S3中聚焦图像特征及聚焦文本，包括根据所述组合信息得到图像的视觉信息v_t和语义信息c_t；

当前时刻输入图像的视觉信息表示为：

其中，G为全局特征向量，为当前时刻输出的对全局特征的训练权重，为t时刻输出的对局部特征的权重分配，且L_i为局部特征向量元素，且1<＝i<＝n。

所述语义信息c_t由图像的视觉信息v_t与解码器中LSTM当前状态下的输出h_t通过卷积神经网络表示为：

c_t＝g(v_t；h_t)

其中，g(·)表示注意力函数，表示输入图像经由编码器提取视觉信息的Global-local特征；h_t为LSTM在当前状态下的隐藏状态输出，有

注意力函数将图像的视觉信息v_t与h_t进行融合得到空间注意力元素向量，公式如下：

α_t＝softmax(z_t)；

其中，k_t为元素全部为1的向量，满足为当前状态下对于v_t的关注度权重分配。

5.根据权利要求4所述的方法，其特征在于，训练权重随t的变化而变化，并动态调整不同位置的权重，根据t时刻输入的训练权重以及t时刻之前相关权重信息，动态调整的更新机制表示为：

其中，f_i为I的子集向量，有f_i∈{G,L₁,L₂,…,L_n}；表示对应的视觉信息的特征向量f_i在当前权重下相对于先前已经产生的描述词句的相关分数权重；h_t-1为上一时刻LSTM的隐藏状态输出；w、W_h、W_f和b为训练的权重参数；为激活函数，采用的是双曲正切函数tanh(·)。