[发明专利]基于图注意力神经网络与视觉关系的视觉问答方法及装置

权利要求书

1.一种基于图注意力神经网络与视觉关系的视觉问答方法，其特征在于，包括：

将目标图像输入至视觉问答模型中的特征提取层，得到所述目标图像的图像特征，并将目标问题文本输入至所述特征提取层，得到所述目标问题文本的文本特征；

将所述图像特征和所述文本特征输入至所述视觉问答模型中的图注意力神经网络层，得到语义关系特征；

将所述语义关系特征输入至所述视觉问答模型中的视觉关系网络层，得到视觉关系特征；

将所述语义关系特征和所述视觉关系特征输入至所述视觉问答模型中的答案预测层，得到所述目标问题文本对应的答案；

其中，所述视觉问答模型是基于样本图像、样本问题文本以及所述样本问题文本对应的答案进行训练得到的。

2.根据权利要求1所述的基于图注意力神经网络与视觉关系的视觉问答方法，其特征在于，所述将所述图像特征和所述文本特征输入至所述视觉问答模型中的图注意力神经网络层，得到语义关系特征，包括：

将所述图像特征中的每一区域特征与所述文本特征进行拼接，得到所述每一区域特征对应的拼接结果；

将所述每一区域特征对应的拼接结果作为所述图注意力神经网络层的第一节点；

基于所述图注意力神经网络层，对多个所述第一节点之间的实体关系进行抽取，得到实体关系特征，并将所述实体关系特征与所述文本特征进行特征融合，得到所述语义关系特征。

3.根据权利要求1所述的基于图注意力神经网络与视觉关系的视觉问答方法，其特征在于，所述将所述语义关系特征输入至所述视觉问答模型中的视觉关系网络层，得到视觉关系特征，包括：

将所述语义关系特征输入至所述视觉关系网络层；

基于所述视觉关系网络层，抽取所述语义关系特征对应的多个候选关系特征，将每一候选关系特征与所述语义关系特征进行融合，得到所述每一候选关系特征对应的第一融合特征，根据所述每一候选关系特征对应的第一融合特征，获取所述视觉关系特征。

4.根据权利要求3所述的基于图注意力神经网络与视觉关系的视觉问答方法，其特征在于，所述根据所述每一候选关系特征对应的第一融合特征，获取所述视觉关系特征，包括：

将所述每一候选关系特征对应的第一融合特征与所述每一候选关系特征进行融合；

根据融合结果，获取所述视觉关系特征。

5.根据权利要求3所述的基于图注意力神经网络与视觉关系的视觉问答方法，其特征在于，所述根据所述每一候选关系特征对应的第一融合特征，获取所述视觉关系特征，包括：

将所述每一候选关系特征对应的第一融合特征作为所述视觉关系网络层中图注意力神经网络层的第二节点；

基于所述视觉关系网络层中的图注意力神经网络层，对多个所述第二节点之间的实体关系进行抽取，得到所述视觉关系特征。

6.根据权利要求1-5任一所述的基于图注意力神经网络与视觉关系的视觉问答方法，其特征在于，所述答案预测层包括注意力网络层和预测层；

所述将所述语义关系特征和所述视觉关系特征输入至所述视觉问答模型中的答案预测层，得到所述目标问题文本对应的答案，包括：

根据所述语义关系特征，获取第一输入信息，根据所述视觉关系特征，获取第二输入信息；

将所述第一输入信息和所述第二输入信息输入至所述注意力网络层，得到第二融合特征；所述注意力网络层用于基于所述第一输入信息和所述第二输入信息，对所述语义关系特征和所述视觉关系特征进行多模态融合，输出所述第二融合特征；

将所述第二融合特征输入至所述预测层，得到所述目标问题文本对应的答案。

7.根据权利要求6所述的基于图注意力神经网络与视觉关系的视觉问答方法，其特征在于，所述将所述第一输入信息和所述第二输入信息输入至所述注意力网络层，得到第二融合特征，包括：

将所述第一输入信息分别输入至所述注意力网络层的第一输入端口和第二输入端口，将所述第二输入信息输入至所述注意力网络层的第三输入端口，得到所述第二融合特征。