[发明专利]基于跨模型交互网络实现问题-视频片段抽取任务的方法

权利要求书

1.一种基于跨模型交互网络实现问题-视频片段抽取任务的方法，其特征在于包括如下步骤：

1)针对问题语句，利用语义图像卷积网络获取问题语句的语义表达；

2)针对视频，获取包含视频内容中的长范围语义依赖信息的自注意力视频语义表达；所述的步骤1)具体为：

针对问题语句，利用提前训练好的Glove word2vec模型获取问题语句的单词表达q＝(q₁,q₂,...q_i,...q_m)，其中q_i代表问题语句中第i个单词的Glove特征表达向量；将问题语句的单词表达q＝(q₁,q₂,...q_i,...q_m)输入到双向GRU网络中，获取问题语句的上下文单词表达其中代表问题语句中第i个单词的上下文单词表达；

利用自然语言处理工具方法，获取问题语句中的语义依赖图θ＝(ν,ε)，其中ν代表语义依赖图中所有点的集合，每个语义依赖图中的点为问题语句的一个单词；ε代表语义依赖图中所有边的集合，每个语义依赖图中的边为问题语句中的一个单词对之间的依赖关系,及单词自身到自身的自循环依赖关系；

按照如下公式计算获得l层语义图像卷积网络的输出作为问题语句的语义表达，

其中，表示第l层语义图像卷积网络输出中第i个单词对应的输出，代表可训练的变换矩阵，dir(i,j)代表(i,j)边的指向方向，代表可训练的偏置向量，lab(i,j)代表(i,j)边的标签，N(i)代表所有与点i有依赖关系的点的集合，ReLU(·)代表ReLU运算，g^k代表第k层语义图像卷积网络的中间输出，k＝(1,2,...,l)；

3)利用步骤1)获取的问题语句的语义表达与步骤2)获取的自注意力视频语义表达，获取视频帧的跨模型语义表达；

4)利用步骤3)获得的视频帧的跨模型语义表达，计算得到跨模型交互网络的损失函数；

5)利用步骤4)获得的跨模型交互网络的损失函数，对跨模型交互网络进行训练，利用训练后的跨模型交互网络，对视频进行以问题为基础的片段抽取。

2.根据权利要求1所述基于跨模型交互网络实现问题-视频片段抽取任务的方法，其特征在于所述的步骤2)具体为：

针对视频，利用提前训练好的3维卷积网络，获取视频帧特征V＝(v₁,v₂,...v_i,...,v_n)，其中v_i代表视频中第i帧的特征；利用如下公式计算得到自注意力视频表达

V^s＝MultiHead(V,V,V)+V

MultiHead(V,V,V)＝W^OConcat(head₁,head₂,...,head_H)

head_i＝Attention(W_i¹V,W_i²V,W_i³V)

其中，W^O、W_i¹、W_i²、W_i³为可训练的线性映射矩阵，Softmax(·)代表softmax运算，d_k代表矩阵W_i¹、W_i²、W_i³的行数；

将自注意力视频表达输入到双向GRU网络中，获得包含视频内容中的长范围语义依赖信息的自注意力视频语义表达