[发明专利]一种基于模态变换与文本归纳的图像描述生成方法

说明书

本发明涉及一种基于模态变换与文本归纳的图像描述生成方法，该方法包括以下步骤：1)使用基于卷积神经网络的目标识别模型，将待描述图像划分为多个基于感兴趣区域的子块，提取子块的视觉特征；2)使用第一长短时记忆模型对每个子块的视觉特征进行解码，通过将视觉信息转换为语义信息实现模态变换，生成各子块的文本描述；3)使用第二长短时记忆模型对每个子块的文本描述进行再编码，提取各子块的语义特征；4)使用双向层级长短时记忆模型融合各子块的语义特征，获得融合语义特征；5)以所述融合语义特征作为第三长短时记忆模型的输入，生成待描述图像的文本描述。与现有技术相比，本发明具有准确度高等优点。

技术领域

本发明涉及图像理解领域，尤其是涉及一种基于模态变换与文本归纳的图像描述生成方法。

背景技术

图像标题生成是一项极具挑战性的工作，在婴幼儿早期教育、视觉障碍辅助、人机交互等领域具有广泛的应用前景。它结合了自然语言处理与计算机视觉两个领域，将一副自然图像使用自然语言的形式描述出来，或者说将图像翻译成自然语言。它首先要求系统能够准确理解图像中的内容，如识别出图像中的场景、各种对象、对象的属性、正在发生的动作及对象之间的关系等；然后根据语法规则及语言结构，生成人们能够理解的句子。

人们已提出多种方法来解决这一难题，包括基于模板的方法、基于语义迁移的方法，基于神经机器翻译的方法及混合方法等。随着深度学习技术，尤其是CNN技术在语言识别和视觉领域连续取得突破，目前基于神经机器翻译及其与其他视觉技术混合的方法已成为解决该问题的主流。这类方法考虑了CNN模型能够提取抽象性及表达能力更强的图像特征，能够为后续的语言生成模型提供可靠的可视化信息。但这些方法过于依赖前期的视觉技术，处理过程复杂，对系统后端生成句子的语言模型优化不足；但当前的主流模型主要存在可解释性不佳的问题，此外，生成的文本描述还存在缺乏层次性、准确率较低、语义信息模糊等问题。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种准确度更高的基于模态变换与文本归纳的图像描述生成方法。

本发明的目的可以通过以下技术方案来实现：

一种基于模态变换与文本归纳的图像描述生成方法，该方法包括以下步骤：

1)使用基于卷积神经网络的目标识别模型，将待描述图像划分为多个基于感兴趣区域的子块，提取子块的视觉特征；

2)使用第一长短时记忆模型对每个子块的视觉特征进行解码，通过将视觉信息转换为语义信息实现模态变换，生成各子块的文本描述；

3)使用第二长短时记忆模型对每个子块的文本描述进行再编码，提取各子块的语义特征；

4)使用双向层级长短时记忆模型融合各子块的语义特征，获得融合语义特征；

5)以所述融合语义特征作为第三长短时记忆模型的输入，生成待描述图像的文本描述。

进一步地，所述步骤1)具体包括：

对图像进行大小缩放后输入卷积神经网络，提取视觉特征，计算各候选框置信度；

选择置信度最高前n个候选框作为感兴趣区域，形成子块，保存各子块的视觉特征及框位置信息。

进一步地，所述文本描述中，每个单词采用One-Hot方式进行编码。

进一步地，所述步骤2)具体为：

将所述视觉特征作为第一长短时记忆模型的第一时间步的输入，后续时间步的输入为上一时间步的输出，将最后一个时间步的输出作为该子块的语义特征；

采用Softmax函数获得语义特征在每个单词上的概率分值，生成对应的文本描述。

进一步地，所述步骤3)具体为：