[发明专利]融合外部知识的开放域视觉问答方法及装置

说明书

本发明公开了一种融合外部知识的开放域视觉问答方法及装置，其中，方法包括：根据视觉问题从预设知识图谱中提取显式表征的离散化外部知识，其中，视觉问题包括图像信息和问题文本；通过结构保持的知识嵌入将离散化外部知识嵌入隐式表征的语义空间，以得到高维连续空间向量；通过动态记忆网络和注意力机制对高维连续空间向量进行辅助推断知识表征提取，并融合图像特征得到视觉问题的答案。该方法保留深度神经网络模型优越性的同时，引入大量结构化的外部知识来辅助回答“开放域”视觉问题，并利用动态记忆网络和记忆力机制，得到有效辅助推断的知识表征，从而有效提高了视觉问答的可靠性和有效性。

技术领域

本发明涉及计算机视觉、视觉问答、多模态融合技术领域，特别涉及一种融合外部知识的开放域视觉问答方法及装置。

背景技术

目前，回答“开放域”视觉问题，除图片中的信息之外，往往需要大量外部知识来辅助推理。现有的视觉问答方法大部分仅仅依据图像和问题文本的内容本身，目前在视觉问答中引入外部知识的相关工作较有限。

相关技术中，基于深度神经网络的视觉问答模型，难以回答“开放域”视觉问题。在结构化知识图谱上进行显式推理的视觉问答模型；这种方式将图片内容表达为结构化形式，容易损失很多视觉信息，因此具有很大局限；简单引入非结构化外部知识的视觉问答模型，其同时引入了大量冗余信息，没有充分利用外部知识。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种融合外部知识的开放域视觉问答方法，该方法可以有效提高了视觉问答的可靠性和有效性。

本发明的另一个目的在于提出一种融合外部知识的开放域视觉问答装置。

为达到上述目的，本发明一方面实施例提出了一种融合外部知识的开放域视觉问答方法，包括以下步骤：根据视觉问题从预设知识图谱中提取显式表征的离散化外部知识，其中，所述视觉问题包括图像信息和问题文本；通过结构保持的知识嵌入将所述离散化外部知识嵌入隐式表征的语义空间，以得到高维连续空间向量；通过动态记忆网络和注意力机制对所述高维连续空间向量进行辅助推断知识表征提取，并融合图像特征得到所述视觉问题的答案。

本发明实施例的融合外部知识的开放域视觉问答方法，通过融入结构化外部知识，使得视觉问答系统具备利用先验常识回答“开放域”视觉问题的能力，并通过结构保持的知识嵌入方法和动态记忆网络，提炼得到最有效辅助推断的知识表征，既保留了基于深度神经网络的传统视觉问答系统的优势，同时能够充分融合外部知识，从而有效提高了视觉问答的可靠性和有效性。

另外，根据本发明上述实施例的融合外部知识的开放域视觉问答方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述根据视觉问题从预设知识图谱中提取显式表征的离散化外部知识，进一步包括：根据所述图像信息中的关键实体和所述问题文本中的关键词从所述预设知识图谱中提取所述离散化外部知识，其中，所述离散化外部知识为符号化的三元组知识。

进一步地，在本发明的一个实施例中，所述隐式表征的语义空间为连续的空间向量。

进一步地，在本发明的一个实施例中，所述通过动态记忆网络和注意力机制对所述高维连续空间向量进行辅助推断知识表征提取，并融合图像特征得到所述视觉问题的答案，进一步包括：将所述高维连续空间向量输入到所述动态记忆网络中，所述动态记忆网络内部的记忆向量不断迭代更新，以在迭代结束时在所述记忆向量中生成所述辅助推断知识表征，并与所述图像特征进行拼接得到所述视觉问题的答案。

进一步地，在本发明的一个实施例中，所述注意力机制用于过滤所述高维连续空间向量中的无关信息和噪声数据。