[发明专利]基于多智能体边界感知网络的自然语言视频片段检索方法

权利要求书

1.一种基于多智能体边界感知网络的自然语言视频片段检索方法，其特征在于，该方法以多智能体边界感知网络为基本框架，分别对起点和终点进行多个方向和尺度的迭代，调整时间边界，获得目标片段，所述多智能体边界感知网络包括观察网络、起点智能体、终点智能体和受限监督网络；

该方法包括以下步骤：

S1：对环境中的视频和对应的自然语言描述进行编码，归一化当前片段的时间位置；

S2：在观察网络中构建当前片段的全局状态向量；

S3：在受限监督网络中限制全局状态向量；

S4：起点智能体和终点智能体根据步骤S3获得的全局状态向量分别给出下一步边界调整策略；

S5：根据步骤S4获得的边界调整策略更新环境中的片段的时间位置，重复S1-5直到遇到停止动作或到达最大迭代次数，获得目标片段。

2.根据权利要求1所述的基于多智能体边界感知网络的自然语言视频片段检索方法，其特征在于，所述步骤S1中，由I3D或C3D网络对视频进行编码获得视频视觉特征，采用Skip-Thought对自然语言描述进行编码生成文本向量。

3.根据权利要求2所述的基于多智能体边界感知网络的自然语言视频片段检索方法，其特征在于，所述全局状态向量由自然语言特征、跨模态片段特征、全局视觉特征和时间位置特征融合处理生成，其中，

所述自然语言特征由文本向量经过一层全联接层得到，

环境中的视频视觉特征经过两层Bi-GRU进行再编码获得再编码特征，所述全局视觉特征由再编码特征经过Mean-Pool层后生成，

所述再编码特征乘以选择滤波器生成的片段掩码后经过Mean-Pool层处理得到局部视觉特征，所述跨模态片段特征由局部视觉特征和自然语言特征融合后经过一层全联接层得到，

所述时间位置特征由当前片段时间位置经一层全联接层生成。

4.根据权利要求1所述的基于多智能体边界感知网络的自然语言视频片段检索方法，其特征在于，所述受限监督网络包括tIoU回归模块和位置回归模块，tIoU表示当前片段与目标片段的重叠度。

5.根据权利要求1所述的基于多智能体边界感知网络的自然语言视频片段检索方法，其特征在于，所述起点智能体和终点智能体均包括Actor-Critic模块和时间距离回归模块。

6.根据权利要求1所述的基于多智能体边界感知网络的自然语言视频片段检索方法，其特征在于，所述下一步边界调整策略的动作包括以设定尺度前移或后移时间点或者停止，所述设定尺度为多级尺度。

7.根据权利要求1所述的基于多智能体边界感知网络的自然语言视频片段检索方法，其特征在于，所述下一步边界调整策略由智能体的策略网络给出的动作所决定。