[发明专利]基于语义对齐的视觉问答方法和系统、存储介质

说明书

本发明提供一种基于语义对齐的视觉问答方法和系统、存储介质，涉及视觉问答技术领域。本发明实施例首先通过获取并预处理数据集，根据原始图像提取原始图像特征和目标位置特征，根据目标位置特征产生图像描述语句，继而得到图像描述单词、问题特征和图像描述语句特征，将原始图像特征与图像描述单词进行语义对齐，得到第一图像特征，根据原始图像特征和图像描述语句特征，得到第二图像特征，根据原始图像特征和问题特征，得到第三图像特征，融合上述三个图像特征、图像描述语句特征和问题特征，得到综合特征，预测出最终的回答结果。进而突出图像信息的重要性，完善了特征融合过程涉及的信息，促使最终生成的回答结果更准确。

技术领域

本发明涉及视觉问答技术领域，具体涉及一种基于语义对齐的视觉问答方法和系统、存储介质。

背景技术

视觉问答是一种涉及计算机视觉和自然语言处理的学习任务，就是让计算机学习输入的图片和问题输出一个符合自然语言规则且内容符合逻辑的答案，它根据问题的不同仅聚焦与图片中某一部分的对象，并且某些问题需要一定的常识推理才能得到答案，所以，视觉问答相比于一般的看图说话在对图像的语义理解上要求更高，也面对着更大的挑战。

目前，现有的视觉问答技术通常采用注意力机制实现获取最终的回答结果的目的。例如，申请号为CN201910770172.X的发明《一种基于多重注意力的视觉问答方法及系统》，其主要采用问题与图像两个模态之间的注意力机制，得到注意力特征向量，进而获取回答结果。

但是，上述现有视觉问答技术仅关注图像中的对象信息和问题信息之间的关联，在特征融合过程中仅涉及到原始图像特征和问题特征，信息不够完善，导致最终生成的回答结果不准确。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于语义对齐的视觉问答方法和系统、存储介质，解决了现有视觉问答技术在特征融合过程中仅涉及到原始图像特征和问题特征，信息不够完善，导致最终生成的回答结果不准确的技术问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

一种基于语义对齐的视觉问答方法，包括：

获取并预处理数据集，得到预处理后的原始图像以及与原始图像信息对应的问答信息，问答信息包括问题和答案；

根据预处理后的原始图像提取原始图像特征和目标位置特征，根据目标位置特征产生图像描述语句；根据问题和图像描述语句，得到图像描述单词、问题特征和图像描述语句特征；

将原始图像特征与图像描述单词进行语义对齐，得到第一图像特征；根据原始图像特征和图像描述语句特征，得到第二图像特征；根据原始图像特征和问题特征，得到第三图像特征；

融合第一图像特征、第二图像特征、第三图像特征、图像描述语句特征和问题特征，得到综合特征；

根据综合特征，在答案中预测出最终的回答结果。

优选的，根据原始图像提取原始图像特征和目标位置特征，具体包括：

将原始图像输入ResNet网络生成原始图像特征；

采用Faster R-CNN框架进行图像区域的目标位置的选取，得到目标位置特征。

优选的，根据目标位置特征产生图像描述语句，具体包括：

将图像区域输入到预训练的卷积神经网络中得到特征向量，将特征向量经过维度转换后输入到LSTM单元序列中，图像区域产生对应的描述语句，得到图像描述语句。

优选的，根据问题和图像描述语句，得到图像描述单词、问题特征和图像描述语句特征，具体包括：