[发明专利]基于局部-整体图推理网络的视频-段落检索方法及系统

权利要求书

1.一种基于局部-整体图推理网络的视频-段落检索方法，其特征在于，包括以下步骤：

步骤1：将视频划分为片段，提取视频帧特征并编码视频整体层、视频片段层、视频动作层和视频物体层特征；将段落文本划分为句子，提取单词特征并编码段落整体层、段落句子层、段落动作层和段落物体层特征；所述的编码过程采用第一编码器实现；

所述的步骤1具体为：

步骤1.1：将由T帧构成的视频划分为N个视频片段，第i个视频片段包含T_i帧，T₁+T₂+...+T_N＝T；将视频中每一帧的帧特征利用Transformer模型进行初始编码，得到编码后的每一个帧特征v_i，构成视频特征向量Fv＝(v₁，v₂，...，v_i，...，v_T)和视频片段特征向量Fc＝(Fc₁，Fc₂，...，Fc_i，...，Fc_N)；其中，Fc_i为第i个视频片段特征，是由属于第i个片段的帧特征构成的；

将由L个单词构成的段落划分为M个句子，第i个句子包含L_i个单词，L₁+L₂+...+L_M＝L；利用Transformer模型对每一个单词进行编码，得到编码后的每一个单词特征t_i，构成段落特征向量Ft＝(t₁，t₂，...，t_i，...，t_L)和段落句子特征向量Fs＝(Fs₁，Fs₂，...，Fs_i，...，Fs_M)；其中，Fs_i为第i个句子特征，是由属于第i个句子的单词特征构成的；

步骤1.2：对视频-段落相关特征向量基于自注意力机制进行聚合，聚合公式为：

A＝softmax(W₂σ(W₁X+b₁)+b₂)

其中，A为聚合结果，X为待聚合的特征向量，σ为激活函数，W₁、W₂为自注意力转换权重矩阵，b₁、b₂为自注意力转换偏移量；

针对于视频，当X＝Fv时，得到视频整体层特征A_Fv，当X＝Fc_i时，得到视频片段层特征Fc_i；

针对于段落，当X＝Ft时，得到段落整体层特征A_Ft，当X＝Fs_i时，得到段落句子层特征Fs_i；

步骤1.3：确定视频-段落的动作层和物体层特征：

针对视频，根据视频片段特征向量Fc计算视频动作层特征和视频物体层特征，计算公式为：

A_Fm＝σ(W_mFc+b_m)

A_Fo＝σ(W_oFc+b_o)

其中，A_Fm为视频动作层特征，A_Fa为视频物体层特征，W_m、W_o为维度转化矩阵，b_m、b_o为偏移量；

针对段落，标记每一个句子中的动词和名词短语，以及标记每一个名词短语所对应的动词，将每一个动词对应的单词特征t_i作为段落动作层特征，将每一个名词短语对应的所有单词特征t_i的聚合结果作为段落物体层特征；

步骤2：对视频-段落分别构造视频分层局部图和段落分层局部图，确定图中各个节点的连接边；

步骤3：利用图卷积网络对视频分层局部图和段落分层局部图进行推理，计算局部图中各个连接边的边权重，更新局部图中的节点，得到更新后的分层局部图；

步骤4：对更新后的分层局部图进行分层池化，分别得到池化后的视频局部三层特征和段落局部三层特征；

步骤5：对视频-段落构造整体图：首先将经步骤4分层池化后的局部三层特征进行二次编码，利用二次编码后的片段层/句子层、动作层、物体层节点与初始编码后的整体层节点构造视频整体图和段落整体图，确定图中各个节点的连接边；所述的二次编码过程采用第二编码器实现；

步骤6：利用图卷积网络对视频整体图和段落整体图进行推理，利用步骤3中的方法更新整体中的节点，得到更新后的整体图；

步骤7：对更新后的整体图进行分层池化，分别得到池化后的视频全局四层特征和段落全局四层特征；分别对全局四层特征进行连接，得到视频和段落的最终特征表示；

步骤8：计算视频和段落间的余弦相似度，根据相似度度量结果对由第一编码器、第二编码器和图卷积网络构成的局部-整体图推理网络进行训练；

步骤9：利用训练好的局部-整体图推理网络实现视频-段落检索。