[发明专利]基于多特征图注意网络模型的视频-文本跨模态检索方法和装置

权利要求书

1.一种基于多特征图注意网络模型的视频-文本跨模态检索方法，其特征在于，包括以下步骤：

建立多特征图注意网络模型，用于挖掘视频不同模态特征之间的结构关系，通过不同视频特征之间的高级语义信息交换获得高效的视频特征表示；

采用双重约束排序损失函数训练所述多特征图注意网络模型，所述双重约束排序损失函数包含视频-文本对之间的排序约束函数和单类数据内部的结构约束函数；

利用训练完成的所述多特征图注意网络模型进行视频-文本的跨模态检索；

所述多特征图注意网络模型包括多特征图注意模块；所述多特征图注意模块采用以下步骤形成有效的视频特征表示：

多特征图注意模块使用共享注意机制进行自我注意力计算，公式如下，其中e_ij表示节点j的对节点i的重要性，h_i,h_j表示第i个、第j个视频特征向量：

e_ij＝a(h_i,h_j)

使用softmax函数对e_ij进行归一化，公式如下，其中N_i是图中节点i的邻居节点集合，α_ij表示节点i和节点j之间的注意系数：

利用得到的注意系数和每个节点特征进行特征更新，产生每个节点的最终输出特征，特征更新公式如下，其中σ表示ReLU非线性激活函数：

最后将输出的视频特征连接到一个单一的固定的长度向量，形成有效的视频特征表示；所述排序约束函数的表达式为：

给定一个视频输入，所述排序约束函数的表达式为：

d(V_i,T_i)+md(V_i,T_j)

其中，锚点V_i和正样本T_i是第i个视频和文本的多模态嵌入空间特征，负样本T_j表示第j个文本特征，d(V,T)表示两个特征在嵌入空间中的距离，m表示边距常数；

类似地，给定一个文本输入，所述排序约束函数的表达式为：

d(T_i,V_i)+md(T_i,V_j)

在排序约束函数中使用双向硬否定排名损失，其只考虑最困难样本带来的惩罚；

所述结构约束函数的表达式为：

给定一个视频输入，所述结构约束函数的表达式为：

d(V_i,V_j)d(V_i,V_k),if

其中，V_i,V_j,V_k分别是第i，j和k个视频在联合嵌入空间中的特征，是相应原始视频空间中的特性；

类似地，给定一个文本输入，所述结构约束函数的表达式为：

d(T_i,T_j)d(T_i,T_k),if

其中T_i,T_j,T_k分别为第i，j和k个文本在联合嵌入空间中的特征，是其原始文本空间中的特性；

给定N个文本、视频对，得到N对嵌入特征(V_i,T_i)，其中V_i和T_i是嵌入空间中第i对文本-视频对中的视频和文本的特性，对于排序约束构建两种类型的三元组(V_i,T_i,T_j)和(T_i,V_i,V_j)，其中i≠j，对于结构约束同样采样两种三元组(V_i,V_j,V_k)和(T_i,T_j,T_k)，其中i≠j≠k，则所述双重约束排序损失函数为：

式中，λ平衡了每类数据结构约束的影响；C_ijk(x)的定义如下：

其中，x_i,x_j,x_k表示联合嵌入空间中的可训练特征编码，是原始空间中的特性，

sign(x)是符号函数，如果x为正数则返回1，如果x为零则返回0，如果x为负数则返回-1。