[发明专利]一种图像描述生成方法、系统、介质及电子设备

权利要求书

1.一种图像描述生成方法，其特征在于：包括以下过程：

获取待描述的图像；

根据获取的图像，获取全局特征和目标特征；利用Resnet101网络提取图像中的全局特征；利用Faster R–CNN网络提取图像中的目标特征；

利用预设循环神经网络的隐状态输出为目标特征分配权重，经加权求和后得到新的图像特征表示；

利用全局特征为预设循环神经网络的隐状态输出计算注意力得分，经加权求和后得到新的语义信息表示；

将图像特征表示和语义信息表示进行融合得到图像交互信息，对图像交互信息进行场景概念选择，得到场景概念信息，根据图像交互信息和场景概念信息，得到图像语义描述结果；通过一系列与图像场景密切相关的主题词汇来表示图像的场景语义信息，并将选取后的场景语义信息添加到语言模型中，与图像的交互信息相结合，从而使模型能够得到更丰富的图像信息，并提前预知到一些需要生成的重要词汇，以此来共同引导模型生成更加准确且符合场景的描述；

将图像的场景主题类别转化成词嵌入向量形式，结合图像交互信息，得到场景概念信息；

将图像交互信息、场景概念信息和隐状态输入到预设ON-LSTM解码器中，得到图像语义描述结果。

2.如权利要求1所述的图像描述生成方法，其特征在于：

利用预设的门控单元将图像特征表示和语义信息表示进行融合。

3.一种图像描述生成系统，其特征在于：包括以下过程：

图像获取模块，被配置为：获取待描述的图像；

特征提取模块，被配置为：根据获取的图像，获取全局特征和目标特征；利用Resnet101网络提取图像中的全局特征；利用Faster R–CNN网络提取图像中的目标特征；

特征表示获取模块，被配置为：利用预设循环神经网络的隐状态输出为目标特征分配权重，经加权求和后得到新的图像特征表示；

语义信息获取模块，被配置为：利用全局特征为预设循环神经网络的隐状态输出计算注意力得分，经加权求和后得到新的语义信息表示；

图像场景描述模块，被配置为：将图像特征表示和语义信息表示进行融合得到图像交互信息，对图像交互信息进行场景概念选择，得到场景概念信息，根据图像交互信息和场景概念信息，得到图像语义描述结果；通过一系列与图像场景密切相关的主题词汇来表示图像的场景语义信息，并将选取后的场景语义信息添加到语言模型中，与图像的交互信息相结合，从而使模型能够得到更丰富的图像信息，并提前预知到一些需要生成的重要词汇，以此来共同引导模型生成更加准确且符合场景的描述；

将图像的场景主题类别转化成词嵌入向量形式，结合图像交互信息，得到场景概念信息；

将图像交互信息、场景概念信息和隐状态输入到预设ON-LSTM解码器中，得到图像语义描述结果。

4.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求1-2任一项所述的图像描述生成方法中的步骤。

5.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-2任一项所述的图像描述生成方法中的步骤。