[发明专利]融合外部知识的开放域视觉问答方法及装置

摘要

本发明公开了一种融合外部知识的开放域视觉问答方法及装置，其中，方法包括：根据视觉问题从预设知识图谱中提取显式表征的离散化外部知识，其中，视觉问题包括图像信息和问题文本；通过结构保持的知识嵌入将离散化外部知识嵌入隐式表征的语义空间，以得到高维连续空间向量；通过动态记忆网络和注意力机制对高维连续空间向量进行辅助推断知识表征提取，并融合图像特征得到视觉问题的答案。该方法保留深度神经网络模型优越性的同时，引入大量结构化的外部知识来辅助回答“开放域”视觉问题，并利用动态记忆网络和记忆力机制，得到有效辅助推断的知识表征，从而有效提高了视觉问答的可靠性和有效性。