[发明专利]基于局部-整体图推理网络的视频-段落检索方法及系统

说明书

本发明公开了一种基于局部‑整体图推理网络的视频‑段落检索方法及系统，属于跨模态检索领域，主要包括以下步骤：1）首先对视频和文本（段落）进行预处理。2）针对给定的视频和文本分别使用局部‑整体图推理网络进行编码，得到最终的视频特征和文本特征。3）使用余弦相似度计算视频特征和文本特征之间的相似度。4）根据相似度度量结果进行检索。相比于传统视频‑段落检索的方法，本发明提出将视频和文本分别分解为四层语义结构，并且分别构造成局部图和整体图，进而使用图卷积网络进行图推理操作，本发明在视频‑段落检索中所取得的结果相比于传统方法更好。

技术领域

本发明涉及跨模态检索领域，尤其一种基于局部-整体图推理网络的视频-段落检索方法及系统。

背景技术

作为在视频和段落之间的跨模态检索任务，视频-段落检索任务是一项非常重要的任务，吸引了众多研究者的关注。

该任务设计到计算机视觉和自然语言处理两个领域，需要系统对视频和文本都进行编码，然后根据编码计算相似度，进而进行检索。目前视频-段落检索任务仍然是一个新颖的任务，目前在该任务上的研究还不够成熟。

目前已有的视频-段落检索任务不是对整个视频和整个段落直接进行编码，就是仅仅考虑视频和段落的多个分段而直接进行编码。然后这样的编码方式都很难得到很好的效果，一方面由于神经网络对长序列编码能力较差，直接使用其对长序列进行编码导致编码性能变差，另一方面只考虑整体和片段丢失了很多的细粒度信息，这进一步限制了检索系统的性能。

综上所述，对于长文本和长视频之间的检索，目前的技术没有很好的利用细粒度信息，性能较差，难以满足实际应用需求。

发明内容

本发明的目的在于解决现有技术中的问题，为了克服长序列直接编码性能下降的问题同时学到更多细粒度的信息，本发明将视频和文本都分解为四个层次：总体级、片段层、动作层和物体层。同时在局部（视频片段/句子）和整体（视频/段落）构造成图使用图推理进行充分的语义交互。

为了实现上述目的，本发明所采用的具体技术方案是：

本发明的其中一个目的在于提供一种基于局部-整体图推理网络的视频-段落检索方法，包括以下步骤：

步骤1：将视频划分为片段，提取视频帧特征并编码得到视频整体层、视频片段层、视频动作层和视频物体层特征；将段落文本划分为句子，提取单词特征并编码得到段落整体层、段落句子层、段落动作层和段落物体层特征；编码过程采用第一编码器实现；

步骤2：对视频-段落分别构造视频分层局部图和段落分层局部图，确定图中各个节点的连接边；

步骤3：利用图卷积网络对视频分层局部图和段落分层局部图进行推理，计算局部图中各个连接边的边权重，更新局部图中的节点，得到更新后的分层局部图；

步骤4：对更新后的分层局部图进行分层池化，分别得到池化后的视频局部三层特征和段落局部三层特征；

步骤5：对视频-段落构造整体图：首先将经步骤4分层池化后的局部三层特征进行二次编码，利用二次编码后的片段层/句子层、动作层、物体层节点与初始编码后的整体层节点构造视频整体图和段落整体图，确定图中各个节点的连接边；所述的二次编码过程采用第二编码器实现；

步骤6：利用图卷积网络对视频整体图和段落整体图进行推理，利用步骤3中的方法更新整体中的节点，得到更新后的整体图；

步骤7：对更新后的整体图进行分层池化，分别得到池化后的视频全局四层特征和段落全局四层特征；分别对全局四层特征进行连接，得到视频和段落的最终特征表示；

步骤8：计算视频和段落间的余弦相似度，根据相似度度量结果对由第一编码器、第二编码器和图卷积网络构成的局部-整体图推理网络进行训练；