[发明专利]一种基于长短时记忆网络变体的图像描述生成方法

说明书

本发明涉及一种基于长短时记忆网络变体的图像描述生成方法，该方法利用一图像描述模型生成待识别图像的图像描述，所述图像描述模型包括卷积神经网络、图像特征编码模块和描述生成模块，所述卷积神经网络获得待识别图像的初始图像特征，所述图像特征编码模块对初始图像特征进行处理，所述图像特征编码模块的输出和所述初始图像特征同时作为描述生成模块的输入，所述描述生成模块中，基于注意力机制和长短时记忆网络变体生成描述句子。与现有技术相比，本发明具有能显著提升图像描述的质量和准确性等优点。

技术领域

本发明涉及图像理解和自然语言处理的交叉领域，尤其是涉及一种基于长短时记忆网络变体的图像描述生成方法。

背景技术

图像描述任务是近年来机器学习领域一大热点。该任务通过机器学习模型，将图像信息自动转换为自然语言描述，在人机交互、盲人导航、图片检索等领域有着广泛的应用前景，因此吸引了国内外大量学者的研究兴趣。同时，该任务也是机器学习领域的一大难点问题，因其不仅需要模型准确地识别图片、视频中的目标物体，还需要模型对物体与物体之间、物体与背景之间等关系有较为深刻地理解，并生成一段生动的自然语言描述，因此这一任务对计算机视觉和自然语言处理两大领域都有着较大的考验。

目前，大部分学者主要使用深度学习方法来实现视觉描述任务。最基本的模型框架是使用卷积神经网络(CNN)来提取图片或视频的特征，再将视觉特征送入长短期记忆网络(LSTM)来生成自然语言描述，如专利申请CN110288029A。为了模仿人类做视觉描述时描述每个词大脑会将注意力集中到图片或视频中的某一区域这一机制，注意力网络(Attention Network)也被引入视觉描述任务，如CN108052512A。但目前的方法还存在缺乏生成自然语言所需的生动的语义信息以及容易产生噪声等问题。

发明内容

本发明的目的在于克服上述现有技术存在的缺陷而提供一种基于长短时记忆网络变体的图像描述生成方法，能显著提升图像描述的质量和准确性。

本发明的目的可以通过以下技术方案来实现：

一种基于长短时记忆网络变体的图像描述生成方法，该方法利用一图像描述模型生成待识别图像的图像描述，所述图像描述模型包括卷积神经网络、图像特征编码模块和描述生成模块，所述卷积神经网络获得待识别图像的初始图像特征，所述图像特征编码模块对初始图像特征进行处理，所述图像特征编码模块的输出和所述初始图像特征同时作为描述生成模块的输入，所述描述生成模块中，基于注意力机制和长短时记忆网络变体生成描述句子。

进一步地，所述图像特征编码模块的处理过程具体为：

将初始图像特征变换为序列图像特征，按照序列次序依次将所述序列图像特征输入至第一LSTM中，获取带有语义信息的全局图像特征。

进一步地，所述初始图像特征依次经过两个全连接层和一个ReLU激活函数后变换为所述序列图像特征。

进一步地，所述第一LSTM中，在时间步j，第一LSTM的隐藏层和细胞层的计算方式为：

其中，v_j为序列图像特征中的元素。

进一步地，所述卷积神经网络输出的初始图像特征经维数变换后输入所述描述生成模块。

进一步地，所述描述生成模块包括依次连接的第二LSTM、注意力网络和CaptionNet网络，所述第二LSTM用于描述CaptionNet网络输出的前面时间步生成的句子信息，生成前面时间步词特征，所述注意力网络用于生成局部注意力图像特征，所述CaptionNet网络为LSTM变体，其输入门和细胞输入仅以所述局部注意力图像特征作为输入，其遗忘门和输出门同时以所述局部注意力图像特征和前面时间步词特征作为输入。