[发明专利]基于注意力回归的视频时序句子定位方法及装置

说明书

本发明公开了一种基于注意力回归的视频时序句子定位方法及装置，其中，方法包括以下步骤：根据三维卷积神经网络和Glove词向量机制，并在此基础上利用双向长短时记忆网络对视频片段和句子进行编码，以表征视频片段内容和句子内容；根据视频片段内容和句子内容通过多模态注意力机制建立视频与句子之间的对称关联，以获取视频和句子的注意力权值向量与注意力加权特征；根据视频和句子的注意力权值向量或注意力加权特征，通过基于注意力权重的回归机制或基于注意力加权特征的回归机制输出得到视频时序句子的定位结果。该方法能够保持视频和句子中的上下文信息，提升了句子定位过程的效率，以达到提升句子定位速度、定位准确性和定位鲁棒性的目的。

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种基于注意力回归的视频时序句子定位方法及装置。

背景技术

现有技术中，视频时序句子定位方法主要为：构建视频与句子之间的统一表征空间，在视频中进行扫描产生若干待选定位视频段，将句子与待选定位视频段投影到统一表征空间进行比较并定位；在视频中进行扫描产生若干待选定位视频段，将待选定位视频段的视觉特征与句子的文本特征融合产生多模态特征。在多模态特征的基础上进行时序回归，产生待选定位视频段与预测定位视频段之间的时间偏差值，并将待选定位视频段移动到预测位置。

现有技术中采用的方法具有如下缺陷：在视频中进行扫描产生待选定位视频段这一做法计算成本较高，无法适应长视频的处理，因而以上视频时序句子定位方法的可扩展性不强；将待选定位视频段从全局视频中分离出来独立处理，阻隔了特定视频内容与视频上下文信息的交互，而视频上下文信息对句子的定位至关重要。因此，以上视频时序句子定位方法的准确率不高；以上方法都直接采用一般的长短时记忆网络提取句子特征，忽略了句子中对于时序定位的关键信息，因此它们对句子信息的挖掘还不够充分。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种提升句子定位速度、定位准确性和定位鲁棒性的目的基于注意力回归的视频时序句子定位方法。

本发明的另一个目的在于提出一种基于注意力回归的视频时序句子定位装置。

为达到上述目的，本发明一方面实施例提出了一种基于注意力回归的视频时序句子定位方法，包括以下步骤：根据三维卷积神经网络和Glove词向量机制，并在此基础上利用双向长短时记忆网络对视频片段和句子进行编码，以表征视频片段内容和句子内容；根据视频片段内容和句子内容通过多模态注意力机制建立视频与句子之间的对称关联，以获取视频和句子的注意力权值向量与注意力加权特征；根据视频和句子的注意力权值向量或注意力加权特征，通过基于注意力权重的回归机制或基于注意力加权特征的回归机制输出得到视频时序句子的定位结果。

本发明实施例的基于注意力回归的视频时序句子定位方法，通过表征视频片段内容和句子内容保持二者的上下文信息，并结合多模态注意力机制建立视频与句子之间的联系，进一步根据获取的视频和句子的注意力权值向量与注意力加权特征，回归出视频时序句子的定位结果，以达到提升句子定位速度、定位准确性和定位鲁棒性的目的。

另外，根据本发明上述实施例的基于注意力回归的视频时序句子定位方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述根据三维卷积神经网络和Glove词向量机制，并在此基础上利用双向长短时记忆网络对视频片段和句子进行编码，以表征视频片段内容和句子内容，进一步包括：表征所述视频片段内容的和融合全局视频句子的上下文信息，并采用Glove词向量和双向长短时记忆网络根据句子的上下文信息表征句子的每个单词。