[发明专利]基于跨模型交互网络实现问题-视频片段抽取任务的方法

说明书

本发明公开了一种利用跨模型交互网络解决以问题为基础的视频片段抽取任务的方法。主要包括如下步骤：1)针对问题语句与视频帧，利用语义图像卷积网络、多头自注意力模块、与多步骤跨模型交互模块获取视频帧的跨模型语义表达。2)对获得的视频帧的跨模型语义表达，计算损失函数并训练模型，利用训练后的跨模型交互网络，对视频进行以问题为基础的片段抽取。相比于一般的视频片段抽取解决方案，本发明对多种有效信息进行综合利用。本发明在以问题为基础的视频片段抽取任务中所取得的效果相比于传统的方法更好。

技术领域

本发明涉及以问题为基础的视频片段抽取任务，尤其涉及一种基于跨模型交互网络实现问题-视频片段抽取任务的方法。

背景技术

当下，视频片段抽取任务成为一项重要的服务，但是目前已有该项服务的效果并不是很好。

现有的技术主要是仅仅关注视频片段抽取任务中的一个方面，例如只关注问题描述学习、视频内容建模、跨模型表达混合，这样便忽略了对多种有效信息的综合利用，来提高视频片段抽取的精确性。为了克服该缺陷，本方法将使用跨模型交互网络解决以问题为基础的视频片段抽取任务。

本发明将利用一个语义图像卷积网络抓取提问中的语法结构，获得提问的语义表达，利用多头自注意力模块获取包含视频内容中的长范围语义依赖信息的自注意力视频语义表达，利用多步跨模型交互来获取视频与提问内容之间的联系。

发明内容

本发明的目的在于解决现有技术中的问题，为了克服现有技术中只关注视频片段抽取任务中的一个方面，忽略了对于多种有效信息的综合利用的问题，本发明提供一种基于跨模型交互网络实现问题-视频片段抽取任务的方法。本发明所采用的具体技术方案是：

基于跨模型交互网络实现问题-视频片段抽取任务的方法，包括如下步骤：

1、针对问题语句，利用语义图像卷积网络获取问题语句的语义表达；

2、针对视频，获取包含视频内容中的长范围语义依赖信息的自注意力视频语义表达；

3、利用步骤1获取的问题语句的语义表达与步骤2获取的自注意力视频语义表达，获取视频帧的跨模型语义表达；

4、利用步骤3获得的视频帧的跨模型语义表达，计算得到跨模型交互网络的损失函数；

5、利用步骤4获得的跨模型交互网络的损失函数，对跨模型交互网络进行训练，利用训练后的跨模型交互网络，对视频进行以问题为基础的片段抽取。

进一步的，所述的步骤1具体为：

针对问题语句，利用提前训练好的Glove word2vec模型获取问题语句的单词表达q＝(q₁,q₂,...q_i,...q_m)，其中q_i代表问题语句中第i个单词的Glove特征表达向量；将问题语句的单词表达q＝(q₁,q₂,...q_i,...q_m)输入到双向GRU网络中，获取问题语句的上下文单词表达其中代表问题语句中第i个单词的上下文单词表达；

利用自然语言处理工具方法，获取问题语句中的语义依赖图θ＝(ν,ε)，其中ν代表语义依赖图中所有点的集合，每个语义依赖图中的点为问题语句的一个单词；ε代表语义依赖图中所有边的集合，每个语义依赖图中的边为问题语句中的一个单词对之间的依赖关系,及单词自身到自身的自循环依赖关系；

按照如下公式计算获得l层语义图像卷积网络的输出作为问题语句的语义表达，