[发明专利]基于多智能体边界感知网络的自然语言视频片段检索方法

说明书

本发明涉及一种基于多智能体边界感知网络的自然语言视频片段检索方法，该方法以多智能体边界感知网络为基本框架，分别对起点和终点进行多个方向和尺度的迭代，调整时间边界，获得目标片段，所述多智能体边界感知网络包括观察网络、起点智能体、终点智能体和受限监督网络。与现有技术相比，本发明在实现高精度检索的条件下仍然保持参数量不会大幅增大，并且可以凭借边界感知能力更能满足现实生活中具有众多复杂场景的视频片段检索需求。

技术领域

本发明属于视频检索技术领域，涉及一种自然语言视频片段检索方法，尤其是涉及一种基于多智能体边界感知网络的自然语言视频片段检索方法。

背景技术

在近几年中，由于移动互联网的高速发展，抖音、bilibili、爱奇艺、斗鱼等视频网站方兴未艾，成为人们娱乐生活中不可或缺的重要组成部分。与此同时，国家加大了对视频监控的投入，从而对视频理解提出了更高的需求。自然语言视频检索作为视频理解方向的一个迅速发展的分支，融合了自然语言处理和计算机视觉分析，旨在在一个长视频中检索出与给定文本描述查询语义相关的片段，在安全监控、短视频检索、智能教学等领域具有重要应用。

在该任务中，目前存在的技术主要依赖于在人工预定义的候选片段，通过遍历所有候选片段来选择最符合文本描述的片段作为检索结果。这种方法由于候选区域过多，导致模型的训练参数过多，提升了算法的时间和空间复杂度。更为重要的是，此类方法不能涵盖广泛的片段定义范围，忽略了片段的多尺度结构可能性，从而导致片段检索精度受到较大的影响。此外，对视频不能进行充分的结构化理解是当前研究技术面临的另一个重要挑战。例如，考虑像“一个人离开衣橱间并关上房间门”这样的文本查询，它可以被理解为“离开衣橱间”稍早于“关上房间门”，并且两个事件之间拥有同时发生的联系。这样复杂的语义关联需要建立在对视频片段的上下文信息进行充分理解的基础上，然而传统的视频片段检索技术侧重于对视频整体的研究，忽略了视频片段之间的语义关联，从而经常出现查询文本与视频片段无法匹配的情况。采用注意力机制建立视频片段和文本关系的方法虽然在一定程度上缓解了上述问题，但是缺乏了视频时间推断能力，仍然不能充分理解视频的结构关联，检索准确率因此受到限制。

发明内容

本发明的目的在于克服上述现有技术存在的缺陷而提供一种基于多智能体边界感知网络的自然语言视频片段检索方法。

本发明的目的可以通过以下技术方案来实现：

一种基于多智能体边界感知网络的自然语言视频片段检索方法，该方法以多智能体边界感知网络为基本框架，分别对起点和终点进行多个方向和尺度的迭代，调整时间边界，获得目标片段，所述多智能体边界感知网络包括观察网络、起点智能体、终点智能体和受限监督网络。

进一步地，该方法包括以下步骤：

S1：对环境中的视频和对应的自然语言描述进行编码，归一化当前片段的时间位置；

S2：在观察网络中构建当前片段的全局状态向量；

S3：在受限监督网络中限制全局状态向量；

S4：起点智能体和终点智能体根据步骤S3获得的全局状态向量分别给出下一步边界调整策略；

S5：根据步骤S4获得的边界调整策略更新环境中的片段的时间位置，重复S1-5直到遇到停止动作或到达最大迭代次数，获得目标片段。

进一步地，所述步骤S1中，由I3D或C3D网络对视频进行编码获得视频视觉特征，采用Skip-Thought对自然语言描述进行编码生成文本向量。

进一步地，所述全局状态向量由自然语言特征、跨模态片段特征、全局视觉特征和时间位置特征融合处理生成，其中，

所述自然语言特征由文本向量经过一层全联接层得到，