[发明专利]用于图像问答的方法和装置

权利要求书

1.计算机实施方法，通过产生与图像输入相关的问题输入的答案来改进计算机-用户交互，所述方法包括：

接收呈自然语言形式的问题输入；

接收与所述问题输入相关的图像输入；以及

将所述问题输入和所述图像输入输入到多模态问答模型中，以产生包括按顺序产生的多个字的答案，所述多模态问答模型包括：

第一部件，将所述问题输入编码成密集向量表示；

第二部件，用于提取所述图像输入的视觉表示，所述第二部件是深度卷积神经网络CNN，所述深度CNN被预训练以及在问答训练期间被修复；

第三部件，用于提取所述答案中的当前字的表示和所述当前字的语言语境；以及

第四部件，利用融合以在所述答案中的当前字后面产生下一字，所述融合包括所述密集向量表示、所述视觉表示和所述当前字的表示。

2.根据权利要求1所述的计算机实施方法，其中，所述第一部件是包括第一字嵌入层和第一长短期记忆LSTM层的第一LSTM网络。

3.根据权利要求2所述的计算机实施方法，其中，所述第三部件是包括第二字嵌入层和第二LSTM层的第二LSTM网络。

4.根据权利要求3所述的计算机实施方法，其中，所述第一字嵌入层与所述第二字嵌入层共享权重矩阵。

5.根据权利要求3所述的计算机实施方法，其中，所述第一LSTM层不与所述第二LSTM层共享权重矩阵。

6.根据权利要求1所述的计算机实施方法，其中，所述第一部件、所述第二部件、所述第三部件和所述第四部件被一同联合训练。

7.根据权利要求3所述的计算机实施方法，其中，所述第四部件是融合部件，包括：

融合层，将来自所述第一LSTM层、所述第二LSTM层和所述第二部件的信息融合以针对所述答案中的当前字产生密集多模态表示；

中间层，将所述融合层中的密集多模态表示映射到密集字表示；以及

Softmax层，预测所述答案中的所述下一字的概率分布。

8.计算机实施方法，通过产生与图像输入相关的问题输入的答案来改进计算机-用户交互，所述方法包括：

使用包括第一字嵌入层和第一长短期记忆LSTM层的第一LSTM部件来提取问题输入的语义含义；

使用深度卷积神经网络CNN部件来产生与所述问题输入相关的图像输入的表示；

使用包括第二字嵌入层和第二LSTM层的第二LSTM部件来提取所述答案中的当前字的表示；以及

将所述语义含义、所述图像输入的表示和所述答案中的当前字的表示融合以预测所述答案中的下一字。

9.根据权利要求8所述的计算机实施方法，其中，所述第一字嵌入层与所述第二字嵌入层共享权重矩阵。

10.根据权利要求8所述的计算机实施方法，其中，所述第一LSTM层不与所述第二LSTM层共享权重矩阵。

11.根据权利要求8所述的计算机实施方法，其中，所述深度CNN部件被预训练以及在问答训练期间被修复。

12.根据权利要求9所述的计算机实施方法，其中，预测所述答案中的下一字还包括：

在融合层中将来自所述第一LSTM层、所述第二LSTM层和所述深度CNN部件的信息融合以针对所述当前字产生密集多模态表示；

在中间层中将所述密集多模态表示映射到密集字表示；以及

在Softmax层中预测所述答案中的所述下一字的概率分布。

13.根据权利要求12所述的计算机实施方法，其中，所述融合层中的密集多模态表示是非线性激活函数。

14.根据权利要求13所述的计算机实施方法，其中，所述非线性激活函数是扩展的双曲正切函数。