[发明专利]基于注意力回归的视频时序句子定位方法及装置

权利要求书

1.一种基于注意力回归的视频时序句子定位方法，其特征在于，包括以下步骤：

根据三维卷积神经网络和Glove词向量机制，并在此基础上利用双向长短时记忆网络对视频片段和句子进行编码，以表征视频片段内容和句子内容；

根据所述视频片段内容和句子内容通过多模态注意力机制建立视频与句子之间的对称关联，以获取视频和句子的注意力权值向量与注意力加权特征；

根据所述视频和句子的注意力权值向量或注意力加权特征，通过基于注意力权重的回归机制或基于注意力加权特征的回归机制输出得到视频时序句子的定位结果。

2.根据权利要求1所述的基于注意力回归的视频时序句子定位方法，其特征在于，所述根据三维卷积神经网络和Glove词向量机制，并在此基础上利用双向长短时记忆网络对视频片段和句子进行编码，以表征视频片段内容和句子内容，进一步包括：

表征所述视频片段内容和融合全局视频句子的上下文信息，并采用Glove词向量和双向长短时记忆网络根据句子的上下文信息表征句子的每个单词。

3.根据权利要求1所述的基于注意力回归的视频时序句子定位方法，其特征在于，所述多模态注意力机制包括：

根据句子特征指导生成所述视频注意力权值向量与所述注意力加权视频特征，以获取与句子语义关联紧密的关键视频内容；

根据所述视频片段内容指导生成句子注意力权值向量与注意力加权句子特征，以获取句子中关于时序定位的关键线索。

4.根据权利要求1所述的基于注意力回归的视频时序句子定位方法，其特征在于，所述根据所述视频和句子的注意力权值向量或注意力加权特征，通过基于注意力权重的回归机制或基于注意力加权特征的回归机制输出得到视频时序句子的定位结果，进一步包括：

基于所述注意力权重的回归以所述视频注意力权值向量作为输入，利用多层全连接操作回归句子所指示的视频内容在全局视频中的相对位置；

基于所述注意力加权特征的回归则先融合所述注意力加权视频特征和所述注意力加权句子特征，获得多模态注意力加权特征，再以多模态注意力加权特征作为输入，利用多层全连接操作回归句子所指示的视频内容在全局视频中的相对位置。

5.根据权利要求1-4任一项所述的基于注意力回归的视频时序句子定位方法，其特征在于，还包括：

根据注意力回归损失函数和注意力校准损失函数通过反向传播算法迭代地训练模型参数，以得到所述基于注意力回归的视频时序句子定位方法的模型。

6.一种基于注意力回归的视频时序句子定位装置，其特征在于，包括以下步骤：

表征模块，用于根据三维卷积神经网络和Glove词向量机制，进一步通过双向长短时记忆网络对视频片段和句子内容进行编码，以表征视频片段和句子内容；

获取模块，用于根据所述视频片段内容和句子内容通过多模态注意力机制建立视频与句子之间的对称关联，以获取视频和句子的注意力权值向量与注意力加权特征；

定位模块，用于根据所述视频和句子的注意力权值向量或注意力加权特征，通过基于注意力权重的回归机制或基于注意力加权特征的回归机制输出得到视频时序句子的定位结果。

7.根据权利要求6所述的基于注意力回归的视频时序句子定位装置，其特征在于，所述表征模块还用于：

表征所述视频片段内容的和融合全局视频句子的上下文信息，并采用Glove词向量和双向长短时记忆网络根据句子的上下文信息表征句子的每个单词。

8.根据权利要求6所述的基于注意力回归的视频时序句子定位装置，其特征在于，所述获取模块还用于：

根据句子特征指导生成所述视频注意力权值向量与所述注意力加权视频特征，以获取与句子语义关联紧密的关键视频内容；

根据所述视频片段内容生成句子注意力权值向量与注意力加权句子特征，以获取句子中关于时序定位的关键线索。