[发明专利]基于多重注意力机制的动态记忆网络模型的视觉问答方法

说明书

本发明基于多重注意力机制的动态记忆网络模型的视觉问答方法，包括以下步骤：步骤1，对输入的图像与文本进行预处理；步骤2，将步骤1输入的问题进行特征提取，根据其标点符号和空格，划分成独立的单词；步骤3，将步骤1输入的图片送入特征提取网络，得到由K个置信度最高的区域的特征组成的区域目标特征；步骤4，对步骤2与步骤3得到的问题特征与图片特征使用多重注意机制迭代更新记忆，来产生回答问题所需的上下文向量；步骤5，将步骤2中的问题特征与步骤4中产生的新图特征送入特征融合器联合推断出答案，其中答案从分类器给出概率最高的候选答案中选出。该方法提高了视觉问答模型的准确率。

技术领域

本发明属于计算机视觉和自然语言处理领域结合的跨模态任务技术领域，具体涉及一种基于多重注意力机制的动态记忆网络模型的视觉问答方法。

背景技术

注意力机制在视觉问答、图像字幕和机器翻译等任务中被广泛应用，视觉问答注意力模型基于问题特征生成图片特征的注意力分布，以便进行准确的问答。目前，视觉问答注意力机制一般只在图像的最后一个卷积层进行加权池化，即不同空间区域权重不同，但不同通道具有相同的权重，导致特征图空间信息不可避免地丢失，这与卷积神经网络特征图空间性和通道性并存的特性相冲突。更糟糕的是，注意力机制只用在最后一个卷积层，那里的感受野相当大，感受野之间的差异有限，导致空间注意力不明显。因此研究者们提出将通道注意力和空间注意力相结合，成为神经网络的“左膀右臂”。

视觉问答中部分问题涉及到物体之间的多跳关系，如“自行车的篮子里有什么？”，模型需要首先寻找图片中的自行车，根据自行车定位篮子的位置，然后识别篮子内包含的物体。可以看出，视觉问答答案预测需要根据问题逐步匹配回答问题的最佳图片区域。因此除了使用注意力机制提取回答问题所需要的关键信息外，视觉问答模型还应具备一定的记忆能力，根据不同的问题进行相关信息的检索、推理和存储。由于RNN、LSTM、GRU等具有记忆功能的神经网络记忆步长较短，因而无法满足视觉问答任务对有效信息的长期记忆和存储要求。为了缓解有效信息的丢失，本文使用动态记忆网络迭代地查找与问题相关的视觉信息。

发明内容

本发明的目的是提供一种基于多重注意力机制的动态记忆网络模型的视觉问答方法，解决了视觉问答中需要多重推理的复杂问题，提高了视觉问答模型的准确率。

本发明所采用的技术方案是，基于多重注意力机制的动态记忆网络模型的视觉问答方法，包括以下步骤：

步骤1，对输入的图像与文本进行预处理，将图像与文本送入模型的输入模块负责对图像与文本特征进行提取，获得的是目标级别的特征；

步骤2，为了得到问题特征，将步骤1输入的问题进行特征提取，根据其标点符号和空格，划分成独立的单词；接下来对这些单词使用预训练的词模型进行向量化表示，然后将其词向量表示输入循环神经网络，获取最后一个时间步的隐藏状态，得到问题特征；

步骤3，为了得到图片特征，将步骤1输入的图片送入特征提取网络，得到由K个置信度最高的区域的特征组成的区域目标特征；

步骤4，对步骤2与步骤3得到的问题特征与图片特征使用多重注意机制迭代更新记忆，来产生回答问题所需的上下文向量；

步骤5，将步骤2中的问题特征与步骤4中产生的新图特征送入特征融合器联合推断出答案，其中答案从分类器给出概率最高的候选答案中选出。

本发明的特征还在于，

步骤2的具体实施方式如下：

步骤2.1：首先，将输入的问题文本处理成模型能够接受的形式，那么输入的问题q表示为：

q＝[q_l，q₂，...，q_N]

其中：N为句子长度，q_i为单词；