[发明专利]一种基于上下文感知图神经网络的视觉对话生成方法

说明书

本发明公开了一种基于上下文感知图神经网络的视觉对话生成方法，包括以下步骤：1、视觉对话中文本输入的预处理和单词表的构建；2、对话图像的特征提取以及对话文本的特征提取；3、获取历史对话上下文特征向量；4、构建上下文感知图；5、迭代更新上下文感知图；6、基于当前问题对上下文感知图节点进行注意力处理；7、多模态语义融合及解码生成答案特征序列；8、基于上下文感知图神经网络的视觉对话生成网络模型的参数优化；9、预测答案生成。本发明在视觉对话上构建了上下文感知的图神经网络，能利用更细粒度的文本语义信息来推理图像中不同对象之间的隐含关系，从而提高智能体对问题所预测生成的答案的合理性和准确性。

技术领域

本发明属于计算机视觉技术领域，涉及到模式识别、自然语言处理、人工智能等技术，具体地说是一种基于上下文感知图神经网络的视觉对话生成方法。

背景技术

视觉对话是一种人机交互方法，其目的是让机器智能体与人类能够对给定的日常场景图以问答的形式进行合理正确的自然对话。因此，如何让智能体正确的理解由图像、文本组成的多模态语义信息从而对人类提出的问题给出合理的回答是视觉对话任务的关键。视觉对话目前也是计算机视觉领域热门研究课题之一，其应用场景也非常的广泛，包括：帮助视觉障碍的人群了解社交媒体内容或日常环境、人工智能助力、机器人应用等方面。

随着现代图像处理技术和深度学习的发展，视觉对话技术也得到了巨大的发展，但是仍然面临以下几点问题：

一、智能体在处理文本信息时缺乏对文本特征进行更细粒度的学习。

例如2017年，Jiasen Lu等作者在顶级国际会议Conference and Workshop onNeural Information Processing Systems(NIPS 2017)上发表的文章《Best of BothWorlds:Transferring Knowledge from Discriminative Learning to a GenerativeVisual Dialog Model》中提出的基于历史对话的图像注意力方法，该方法首先对历史对话进行句子层面的注意力处理，然后基于处理后的文本特征对图像特征进行注意力学习，但是该方法在处理当前问题的文本信息时只考虑了句子层面的语义，没有考虑词层面的语义，而在实际提问的句子里面通常只有部分关键词是与预测的答案最相关的。因此，该方法在实际应用时会有一定的局限性。

二、现有方法在处理图像信息时，缺乏对视觉对象之间的语义依赖关系的学习。

例如2019年，Zilong Zheng等作者在顶级国际会议IEEE Conference onComputer Vision and Pattern Recognition(CVPR 2019)上发表的《Reasoning VisualDialogs with Structural and Partial Observations》。这篇文章在视觉对话任务上构建了一个对话图神经网络，图网络中的每一个节点代表一段对话片段，图网络中的边代表不同对话片段之间的语义依赖关系，该方法利用EM算法来更新图网络结果，明确不同对话片段之间的具体语义依赖关系，并更据所更新的图网络来预测最后的答案。虽然这篇文章所提出的方法有效的建模了不同对话片段之间的语义依赖关系，但是该方法只考虑了文本层面的相互依赖关系，而没有去考虑图像信息中不同视觉对象之间的相互依赖关系，使得视觉语义信息没能够进行更细粒度的学习，在最终的预测答案生成上存在局限性。

发明内容

本发明是为了克服现有技术存在的不足之处，提出一种基于上下文感知图神经网络的视觉对话生成方法，以期能为智能体提供充分学习视觉对象间相互依赖关系的视觉语义信息，以及更细粒度的文本语义信息，从而提高智能体对问题所预测生成的答案的合理性和准确性。

本发明为解决技术问题采用如下技术方案：

本发明一种基于上下文感知图神经网络的视觉对话生成方法的特点是按如下步骤进行：