[发明专利]基于异质图神经网络的文本视觉问答实现方法

摘要

本发明提出一种基于异质图神经网络的文本视觉问答实现方法。该方法中网络结构分为问题自我注意力模型、异质图注意力模型和全局‑局部注意力应答模型三部分。问题自我注意力模型将一个具有T个单词的问题Q，通过预训练的BERT网络得到输入单词对应的融合全文语义信息的词向量；异质图注意力模型从图像中构建异质图，采用注意力机制，使用不同的问题特征更新异质图的不同部分，得到问题条件下对象和文本的异质图特征；全局‑局部注意力应答模型采用迭代的方式，得到函数预测答案。本方法中，二分支评价函数使得生成的答案可以同时兼顾OCR标记和一般文本标记，从而提高了应答的准确率，最终达到高精度的效果。