[发明专利]用于图像问答的方法和装置

摘要

呈现了多模态问答(mQA)模型的实施方式以回答与图像的内容相关的问题。在实施方式中，所述模型包括四个部件：用于提取问题表示的长短期记忆(LSTM)部件；用于提取视觉表示的卷积神经网络(CNN)部件；用于存储答案中的语言语境的LSTM部件；以及用于将来自最初三个部件的信息组合并产生答案的融合部件。建构自由式多语言图像问答(FM‑IQA)数据集以训练和评估mQA模型的实施方式。由人类法官通过图灵测试来评估在这个数据集上mQA模型所产生的答案的质量。

主权项

计算机实施方法，通过产生与图像输入相关的问题输入的答案来改进计算机‑用户交互，所述方法包括：接收呈自然语言形式的问题输入；接收与所述问题输入相关的图像输入；以及将所述问题输入和所述图像输入输入到多模态问答(mQA)模型中，以产生包括按顺序产生的多个字的答案，所述mQA模型包括：第一部件，将所述问题输入编码成密集向量表示；第二部件，用于提取所述图像输入的视觉表示；第三部件，用于提取所述答案中的当前字的表示和所述当前字的语言语境；以及第四部件，利用融合以在所述答案中的当前字后面产生下一字，所述融合包括所述密集向量表示、所述视觉表示和所述当前字的表示。