[发明专利]基于图注意力神经网络与视觉关系的视觉问答方法及装置

说明书

本发明提供一种基于图注意力神经网络与视觉关系的视觉问答方法及装置，该方法包括：将目标图像输入至视觉问答模型中的特征提取层，得到所述目标图像的图像特征，并将目标问题文本输入至所述特征提取层，得到所述目标问题文本的文本特征；将所述图像特征和所述文本特征输入至所述视觉问答模型中的图注意力神经网络层，得到语义关系特征；将所述语义关系特征输入至所述视觉问答模型中的视觉关系网络层，得到视觉关系特征；将所述语义关系特征和所述视觉关系特征输入至所述视觉问答模型中的答案预测层，得到所述目标问题文本对应的答案。本发明实现基于目标图像和目标问题文本，精准推理出目标问题文本对应的答案。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于图注意力神经网络与视觉关系的视觉问答方法及装置。

背景技术

随着近些年深度学习的快速发展，多种多样的问题和研究方向层出不穷；在深度学习领域大体可以分为两个主要研究方向：计算机视觉(Computer Vision，CV)和自然语言处理(Natural Language Processing，NLP)，在这两个领域中，图像标注和文本问答各自代表着其中的一类研究方向，图像标注为深度学习模型通过对大量标注图像的学习对未知的新图像给予标注的任务，而文本问答则是模型对一条或一段等的自然语句给与特定问题进行回答的任务。视觉问答模型(Visual Question Answering，VQA)正是近些年随着计算机视觉和自然语言处理兴起而产生的新的交叉领域，该模型不仅要处理图片信息，而且要对给定的关于图片的问题给予给与一种合理的回答。

现有方法大多依赖于注意力机制来寻找图像中的关键信息，或者从图像中抽取一些实体或属性等图像信息，作为语义知识的补充。但是这些图像信息与问题文本之间的关联性较小，无法完整表征视觉问答特征，导致基于这些图像信息获取的视觉问答结果不准确。

发明内容

本发明提供一种基于图注意力神经网络与视觉关系的视觉问答方法及装置，用以解决现有技术中依赖于注意力机制来寻找图像中的关键信息，或者从图像中抽取一些实体或属性等图像信息，作为语义知识的补充，无法完整表征视觉问答特征，导致视觉问答结果不准确的缺陷，实现提供视觉问答结果的准确性。

本发明提供一种基于图注意力神经网络与视觉关系的视觉问答方法，包括：

将目标图像输入至视觉问答模型中的特征提取层，得到所述目标图像的图像特征，并将目标问题文本输入至所述特征提取层，得到所述目标问题文本的文本特征；

将所述图像特征和所述文本特征输入至所述视觉问答模型中的图注意力神经网络层，得到语义关系特征；

将所述语义关系特征输入至所述视觉问答模型中的视觉关系网络层，得到视觉关系特征；

将所述语义关系特征和所述视觉关系特征输入至所述视觉问答模型中的答案预测层，得到所述目标问题文本对应的答案；

其中，所述视觉问答模型是基于样本图像、样本问题文本以及所述样本问题文本对应的答案进行训练得到的。

根据本发明提供的一种基于图注意力神经网络与视觉关系的视觉问答方法，所述将所述图像特征和所述文本特征输入至所述视觉问答模型中的图注意力神经网络层，得到语义关系特征，包括：

将所述图像特征中的每一区域特征与所述文本特征进行拼接，得到所述每一区域特征对应的拼接结果；

将所述每一区域特征对应的拼接结果作为所述图注意力神经网络层的第一节点；

基于所述图注意力神经网络层，对多个所述第一节点之间的实体关系进行抽取，得到实体关系特征，并将所述实体关系特征与所述文本特征进行特征融合，得到所述语义关系特征。

根据本发明提供的一种基于图注意力神经网络与视觉关系的视觉问答方法，所述将所述语义关系特征输入至所述视觉问答模型中的视觉关系网络层，得到视觉关系特征，包括：