[发明专利]基于对偶关系网络的时序动作定位方法、系统、设备及介质

权利要求书

1.一种基于对偶关系网络的时序动作定位方法，其特征在于，包括以下步骤：

将待时序动作定位的原始视频序列分解为若干个视频片段并编码，获得编码后的视频特征序列；

基于所述编码后的视频特征序列，获得候选的动作提案集合；

利用预训练好的对偶关系网络对所述候选的动作提案集合中的每个提案进行信息更新，获得提案信息更新后的动作提案集合；其中，所述信息更新包括推理提案之间的关系特征、提案与全局上下文的关系特征来丰富每个提案的特征；

基于所述提案信息更新后的动作提案集合，获得时序动作定位结果；

其中，所述预训练好的对偶关系网络包括：

提案-提案关系推理模块，用于推理提案之间的关系特征来丰富每个提案的特征；

提案-上下文关系推理模块，用于推理提案与全局上下文的关系特征来丰富每个提案的特征；

其中，在训练时采用的损失函数包括分类损失、回归损失以及完整性损失；在推理阶段用于预测每个提案的类别、边界偏移以及置信度分数；

所述提案-提案关系推理模块中，推理提案之间的关系特征来丰富每个提案的特征的步骤具体包括：

编码后的视频特征序列表示为其中，x_t表示第t个视频片段的特征向量，T表示视频片段的总数量；

候选的动作提案集合表示为其中，t_s,n和t_e,n为第n个动作提案的开始时间和结束时间，f_n为第n个动作提案的特征向量，N表示动作提案的总数量；

第n个提案的更新特征表示为计算表达式为，

式中，S_n,m是相似矩阵的一个元素，表示第n个提案和第m个提案之间的关系权重，W_S是线性映射层的权重矩阵；f_m为第m个动作提案的特征向量；

相似矩阵S的表达式为，

S＝λS^a+(1-λ)S^g，

式中，λ是一个控制外观和几何图形相似性之间的相对重要性的超参数；S^a为外观相似度矩阵；S^g为几何相似度矩阵；

式中，和分别为外观相似度矩阵和几何相似度矩阵的第n行第m列的元素；·为L2正则化；

第n个提案的特征更新为，

式中，σ(·)为sigmoid激活函数，ReLU为线性整流函数；W_r、W_ex和W_sq分别为三个线性映射层的权重矩阵；

所述提案-上下文关系推理模块中，推理提案与全局上下文的关系特征来丰富每个提案的特征的步骤具体包括：

计算每个提案与视频特征序列的每个时间位置的关联关系，利用关联关系生成上下文感知特征，使用上下文感知特征增强原始的提案特征；

其中，每个动作提案与视频每个时间位置的特征向量x_t的关系用注意力权重a_t表示；a_t的数值大小用于表示第t个时间位置的视频特征对动作提案的贡献大小；

利用注意力权重更新原始提案特征，表达式为，

式中，W_p，W_c和W_pc分别为三个不同的权重矩阵。

2.根据权利要求1所述的一种基于对偶关系网络的时序动作定位方法，其特征在于，所述将待时序动作定位的原始视频序列分解为若干个视频片段并编码，获得编码后的视频特征序列的步骤具体包括：

将待时序动作定位的原始视频序列分解为若干个视频片段，每个视频片段包含原始视频序列固定长度的连续帧；

利用一个预训练好的特征提取器编码每个视频片段，获得编码后的视频特征序列；其中，所述编码后的视频特征序列包含每个视频片段的RGB信息和相邻片段之间的光流信息。