[发明专利]一种图像描述生成方法、系统、介质及电子设备

说明书

本公开提供了一种图像描述生成方法、系统、介质及电子设备，获取待描述的图像，提取全局特征和目标特征；利用预设循环神经网络的隐状态输出为目标特征分配权重，经加权求和后得到新的图像特征表示；利用全局特征为预设循环神经网络的隐状态输出计算注意力得分，经加权求和后得到新的语义信息表示；将图像特征表示和语义信息表示进行融合得到图像交互信息，对图像交互信息进行场景概念选择，得到场景概念信息，根据图像交互信息和场景概念信息，得到图像语义描述结果；本公开使用全局图像特征和局部图像特征来生成图像描述，采用交互机制，提高了描述的丰富性和准确性。

技术领域

本公开涉及图像处理技术领域，特别涉及一种图像描述生成方法、系统、介质及电子设备。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术，并不必然构成现有技术。

现有的图像描述生成方法中，注意力机制根据当前时刻的语义信息挑选出相关度较高的图像信息，进而将编码后的图像信息作为解码器的输入，然后将图像信息解码成文字。

但是，发明人发现，在图像描述过程中，注意力机制没有考虑语义信息和图像信息在两个方向上面的交互；现有的注意力方法仅基于低级空间特征或高级文本特征，限制了图像描述的丰富性；现有的图像描述生成方法，缺乏的场景语义信息特征，使得生成的语义描述的准确度较低。

发明内容

为了解决现有技术的不足，本公开提供了一种图像描述生成方法、系统、介质及电子设备，使用全局图像特征和局部图像特征来生成图像描述，采用交互机制，提高了描述的丰富性和准确性。

为了实现上述目的，本公开采用如下技术方案：

本公开第一方面提供了一种图像描述生成方法。

一种图像描述生成方法，包括以下过程：

获取待描述的图像；

根据获取的图像，获取全局特征和目标特征；

利用预设循环神经网络的隐状态输出为目标特征分配权重，经加权求和后得到新的图像特征表示；

利用全局特征为预设循环神经网络的隐状态输出计算注意力得分，经加权求和后得到新的语义信息表示；

将图像特征表示和语义信息表示进行融合得到图像交互信息，对图像交互信息进行场景概念选择，得到场景概念信息，根据图像交互信息和场景概念信息，得到图像语义描述结果。

进一步的，利用Resnet101网络提取图像中的全局特征。

进一步的，利用Faster R–CNN网络提取图像中的目标特征。

进一步的，利用预设的门控单元将图像特征表示和语义信息表示进行融合。

进一步的，将图像交互信息、场景概念信息和隐状态输入到预设ON-LSTM解码器中，得到图像语义描述结果。

进一步的，将图像的场景主题类别转化成词嵌入向量形式，结合图像交互信息，得到场景概念信息。

进一步的，图像的场景主题类别包括多个主题词汇。

本公开第二方面提供了一种图像描述生成系统。

一种图像描述生成系统，包括以下过程：

图像获取模块，被配置为：获取待描述的图像；

特征提取模块，被配置为：根据获取的图像，获取全局特征和目标特征；

特征表示获取模块，被配置为：利用预设循环神经网络的隐状态输出为目标特征分配权重，经加权求和后得到新的图像特征表示；