[发明专利]一种基于深度注意力机制的图像描述生成方法

说明书

本发明涉及一种基于深度注意力机制的图像描述生成方法，所述方法包括：深度长短期记忆网络模型建立步骤，通过在长短期记忆网络模型的单元之间添加注意力机制函数，并利用卷积神经网络提取的训练图片特征和训练图片的描述信息对添加了注意力机制函数的长短期记忆网络进行训练，得到深度长短期记忆网络模型；图像描述生成步骤，将待生成描述的图像依次通过卷积神经网络模型和深度长短期记忆网络模型，生成与图像对应的描述。与现有技术相比，本发明具有信息提取有效性强、深度表达能力高以及描述准确等优点。

技术领域

本发明涉及图像理解领域，尤其是涉及一种基于深度注意力机制的图像描述生成方法。

背景技术

图像标题生成是一项极具挑战性的工作，在婴幼儿早期教育、视觉障碍辅助、人机交互等领域具有广泛的应用前景。它结合了自然语言处理与计算机视觉两个领域，将一副自然图像使用自然语言的形式描述出来，或者说将图像翻译成自然语言。它首先要求系统能够准确理解图像中的内容，如识别出图像中的场景、各种对象、对象的属性、正在发生的动作及对象之间的关系等；然后根据语法规则及语言结构，生成人们能够理解的句子。

人们已提出多种方法来解决这一难题，包括基于模板的方法、基于语义迁移的方法，基于神经机器翻译的方法及混合方法等。随着深度学习技术，尤其是CNN技术在语言识别和视觉领域连续取得突破，目前基于神经机器翻译及其与其他视觉技术混合的方法已成为解决该问题的主流。这类方法考虑了CNN模型能够提取抽象性及表达能力更强的图像特征，能够为后续的语言生成模型提供可靠的可视化信息。但这些方法过于依赖前期的视觉技术，处理过程复杂，对系统后端生成句子的语言模型优化不足；在使用LSTM单元生成句子时，其模型深度较浅(常使用1层或2层LSTM)，生成的句子语义信息不强，整体性能难以改善。

发明内容

本发明的目的是针对上述问题提供一种基于深度注意力机制的图像描述生成方法。

本发明的目的可以通过以下技术方案来实现：

一种基于深度注意力机制的图像描述生成方法，所述方法包括：

深度长短期记忆网络模型建立步骤，通过在长短期记忆网络模型的单元之间添加注意力机制函数，并利用卷积神经网络提取的训练图片特征和训练图片的描述信息对添加了注意力机制函数的长短期记忆网络进行训练，得到深度长短期记忆网络模型；

图像描述生成步骤，将待生成描述的图像依次通过卷积神经网络模型和深度长短期记忆网络模型，生成与图像对应的描述。

优选地，所述深度长短期记忆网络模型建立步骤包括：

A1)将训练图片通过卷积神经网络，得到训练图片的特征图和特征向量；

A2)建立长短期记忆网络模型，并在长短期记忆网络模型的每两个连接层之间添加注意力机制函数；

A3)将训练图片的描述信息和步骤A1)中得到的特征图与特征向量，输入到步骤A2)中添加了注意力机制函数的长短期记忆网络模型后，对长短期记忆网络模型进行训练，得到深度长短期记忆网络模型。

优选地，所述步骤A2)包括：

A21)通过设置输入门、输出门、遗忘门和记忆单元，构建长短期记忆网络模型中的长短期记忆单元；

A22)设置长短期记忆网络模型中每一个连接层的时间步长和隐层单元的个数；

A23)在长短期记忆网络模型的每一个连接层的长短期记忆单元后添加注意力机制函数，所述注意力机制函数包括两个输入端和一个输出端，所述两个输入端的维度分别与通过卷积神经网络的特征图的维度和隐层单元参数的维度相等，所述输出端的维度与通过卷积神经网络提取的训练图片特征向量维度相等。

优选地，所述长短期记忆网络模型中每一个连接层的时间步长与所有训练图片的描述信息的平均句子长度相等。