[发明专利]一种利用基于图论的多重交互网络机制解决视频问答问题的方法

说明书

本发明公布了一种利用基于图论的多重交互网络机制解决视频问答问题的方法。步骤：1)针对视频，利用ResNet网络得到帧级别的视频表达。2)利用MaskR‑CNN网络得到物体的存在和位置特征。3)利用GloVe网络提取问题单词级信息。4)利用基于图论的GNN网络构图，引入消息机制对图迭代，最终得到物体存在和物体间联系特征表达。5)引入多重交互，利用前馈神经网络学习得到与问题相关的物体存在和物体间动态联系的特征表达以及视频帧级和片段级表达。6)针对不同类型的问题答案模块会采用不同的策略。本发明利用上述机制得到物体间的时空依赖关系和动态语义交互信息，在视频理解上达到更深刻的效果，继而给出更精准的答案。

技术领域

本发明涉及视频问答答案生成，尤其涉及一种利用基于图论的多重交互网络机制解决视频问答问题的方法。

背景技术

视频问答问题是视频信息检索领域中的一个重要问题，该问题的目标是针对于相关的视频及对应的问题，自动生成答案。

现有的技术主要解决的是关于静态图像相关的问答问题。虽然目前的技术针对于静态图像问答，可以取得很好的表现结果，但是这样的方法缺少对于视频中的时间动态信息的建模，所以不能很好地拓展到视频问答任务上面。

针对于视频中经常包含对象物品的外形及其移动信息，并且与问题相关的视频信息是分散在视频的某些目标帧之中的情况，本方法将使用基于图论的多重交互机制来聚焦于视频与所问问题相关的目标帧，并且学习与问题相关的有效的视频表达。同时，使用分段级别的视频特征提取机制提取关于视频帧之中的物体外形及移动信息。

本方法将利用残差神经网络得到视频帧级别的表达，同时针对这组视频，用 MaskR-CNN神经网络得到物体存在和物体位置的特征表达。另外，用GloVe神经网络得到问题单词级别的特征信息。之后利用图神经网络对这组视频进行构图，并引入消息传输机制迭代更新图的特征表达。之后利用多重交互网络分三个通道分别学习到与问题相关的视频帧级别和段级别的表达以及与问题相关的物体的运动信息。最后利用学习到的这些特征信息，结合不同类型问题的特点，用不同的回归函学习出答案来解决视频问答问题。

发明内容

本发明的目的在于解决现有技术中的问题，为了克服现有技术中缺少对于视频中的时间动态信息的建模的问题，且针对于视频中经常包含对象物品的外形及其移动信息，并且与问题相关的视频信息是分散在视频的某些目标帧之中的情况，本发明提供一种利用基于图论的多重交互网络机制解决视频问答问题的方法，本发明所采用的具体技术方案是：

1)对于输入的视频及自然语言问题语句，训练出图神经网络和多重交互网络来获取问题相关的物体存在特征表达、物体间动态联系的特征表达、以及与问题相关的帧级和片段级视频表达，得到针对不同问题的预测答案；

1.1)针对一段视频，采用残差神经网络提取视频的帧级表达；

1.2)采用Mask R-CNN神经网络，提取视频中物体存在特征表达和物体空间位置特征表达；

1.3)针对自然语言问题语句，采用预训练的GloVe神经网络得到自然语言问题语句的单词级别的嵌入表达；

1.4)利用步骤1.2)得到的物体存在特征表达和物体空间位置特征表达，通过图神经网络进行建图，并引入消息传输机制，对图进行迭代更新，获得最终的物体存在特征表达；

1.5)利用步骤1.1)获得的视频的帧级表达、步骤1.2)获得的物体空间位置特征表达、步骤1.3)获得的自然语言问题语句的单词级别的嵌入表达和步骤 1.4)获得的最终的物体存在特征表达，引入多重交互网络，利用预训练的交互网络和前馈神经网络，分三个通道得到与问题相关的物体存在特征表达、物体间动态联系的特征表达以及与问题相关的视频帧级和片段级视频表达；

1.6)针对不同的问题形式，采用不同的回归函数和损失函数，得到针对问题的预测答案；