[发明专利]用于图像问答的方法和装置

说明书

呈现了多模态问答(mQA)模型的实施方式以回答与图像的内容相关的问题。在实施方式中，所述模型包括四个部件：用于提取问题表示的长短期记忆(LSTM)部件；用于提取视觉表示的卷积神经网络(CNN)部件；用于存储答案中的语言语境的LSTM部件；以及用于将来自最初三个部件的信息组合并产生答案的融合部件。建构自由式多语言图像问答(FM‑IQA)数据集以训练和评估mQA模型的实施方式。由人类法官通过图灵测试来评估在这个数据集上mQA模型所产生的答案的质量。

相关申请的交叉引用

本申请要求提交于2015年5月21日的标题为“Dataset and Methods forMultilingual Image Question Answering”且将Haoyuan Gao、Junhua Mao、Jie Zhou、Zhiheng Huang、Lei Wang和Wei Xu列为发明人的共同转让和共同未决的美国临时专利申请号62/164,984的优先权。上述专利文献通过引用以其整体并入本文中。

技术领域

本发明总体涉及改进人机交互的接口。更具体地，本公开涉及用于改进来自图像输入和问题输入的问答的自动化的系统和方法。

背景技术

问答(QA)是信息检索和自然语言处理(NLP)领域内的计算机科学学科，其与建构自动回答由人以自然语言设定提出的问题的系统相关。在信息检索中，开放域问答系统旨在响应于用户的问题来返回答案。该系统使用来自计算语言学、信息检索和知识表示的技术的组合以用于寻找答案。

关于图像标注任务已作出许多研究。这些研究中的大多数是基于深度神经网络(例如，深度卷积神经网络、循环神经网络(RNN)或长短期记忆(LSTM))而建构的。具有句子注释的大规模图像数据集在这一进展中发挥了至关重要的作用。尽管这些方法取得了成功，但仍存在待探究和解决的问题。特别地，图像标注任务仅需要图像的指类句(genericsentence)描述。但在许多情况下，仅对图像的特定部分或对象感兴趣。由于用户无法输入他们的偏好和兴趣，图像标注任务缺乏计算机与用户之间的交互。

因此，在给定图像和输入问题的情况下，需要提供改进的问答的系统和方法。

发明内容

本发明的目的是提供通过产生与图像输入相关的问题输入的答案来改进计算机-用户交互的计算机实施方法以及用于图像问答的装置。

本发明的一方面，提供了这样的计算机实施方法，所述方法通过产生与图像输入相关的问题输入的答案来改进计算机-用户交互，所述方法可包括：接收呈自然语言形式的问题输入；接收与所述问题输入相关的图像输入；以及将所述问题输入和所述图像输入输入到多模态问答(mQA)模型中，以产生包括按顺序产生的多个字的答案。所述mQA模型包括：第一部件，将所述问题输入编码成密集向量表示；第二部件，用于提取所述图像输入的视觉表示，所述第二部件是深度CNN，所述深度CNN被预训练以及在问答训练期间被修复；第三部件，用于提取所述答案中的当前字的表示和所述当前字的语言语境；以及第四部件，利用融合以在所述答案中的当前字后面产生下一字，所述融合包括所述密集向量表示、所述视觉表示和所述当前字的表示。

本发明的另一方面，提供了另外的计算机实施方法，所述方法通过产生与图像输入相关的问题输入的答案来改进计算机-用户交互，所述方法可包括：使用包括第一字嵌入层和第一长短期记忆(LSTM)层的第一LSTM部件来提取问题输入的语义含义；使用深度卷积神经网络(CNN)部件来产生与所述问题输入相关的图像输入的表示；使用包括第二字嵌入层和第二LSTM层的第二LSTM部件来提取所述答案中的当前字的表示；以及将所述语义含义、所述图像输入的表示和所述答案中的当前字的表示融合以预测所述答案中的下一字。