[发明专利]一种基于代理度量模型的弱监督视频行为定位方法

说明书

本发明公开了一种基于代理度量模型的弱监督视频行为定位方法，视频行为定位在行为识别领域中扮演着重要的作用，由于人工对动作区间时序的标注既昂贵又费时，有效的弱监督的视频行为定位方法是不可或缺的，为了解决这个问题，本发明基于每个动作类的代理向量来训练模型，代理向量是通过训练得出的每个动作类的特征代表，它们被用于度量动作片段和不同动作原始特征的特征距离。本发明提出一种代理度量模块，它能使相同的动作片段特征聚类在一起，并且能让未裁剪视频中的背景片段特征远离动作片段特征，能有效地提高在弱监督环境下对视频进行行为定位的精度。

技术领域

本申请涉及计算机视觉技术领域，特别涉及一种基于代理度量模型的弱监督视频行为定位方法。

背景技术

视频动作定位是指训练人工智能模型检测视频中动作发生的时间位置,并识别动作种类的过程。它已被广泛应用于智能监控，动作检索，人机交互，虚拟现实等多个领域。传统的视频动作定位采用的是全监督的方式，其训练集的标签不仅有视频中每个动作的分类标签，也带有每个动作开始和结束的时间标签。但是，随着现实世界中每天产生视频的数量越来越多，对视频动作区间进行人工的帧级标注既昂贵又费时。而且人工对时间进行标注的准确性也是难以保证的。因此，不需要动作时序标签的弱监督的视频动作定位在视频行为识别领域中起着不可或缺的作用。

视频动作定位领域的视频数据集中有大量与动作无关的片段，一般称其为背景片段。弱监督视频动作定位只要求数据集带有视频级别的动作分类标签，不要求对动作开始和结束的时间有注释。在这种情况下，成功训练视频动作定位模型的关键点在于视频中相同的动作片段中存在特征相似性。如果一个片段在训练集整体中相似度都较低，则很大概率可以将其视为背景片段。依靠着这种片段相似性可以在模型训练的过程中对动作的发生时间进行预测。因此，弱监督的视频动作定位的研究是切实可行的。

现有的弱监督视频动作定位方法主要工作在注意力机制，多实例学习和相似性度量方面。然而，这些方法总将视频的所有片段纳入模型训练过程，没有提前将一些包含动作可能性较低的视频片段提前排出在训练过程之外。此外，现有的方法没有结合相同动作类的共同特征维护具有代表性的动作特征向量，这样难以提升模型训练时动作聚类和背景分离的精度。所以一种基于代理度量模型的弱监督视频动作定位方法是迫切需求的。

发明内容

发明目的：为了解决现有技术存在的问题，实现在视频数据集没有动作时序标签的情况下训练神经网络模型进行动作的定位和识别，本发明提供了一种基于代理度量模型的弱监督视频行为定位方法，它能够有效地依靠动作代理向量进行动作聚类和背景分离，从而提升弱监督动作定位的准确性。

技术方案：一种基于代理度量模型的弱监督视频行为定位方法，包括以下步骤：

步骤一：分离并提取训练集视频的特征向量。将未修剪的视频V看作是片段的集合，其中每个片段包含相等数量的帧，将视频表示为n个片段其中k代表视频的序号。

步骤二：特征提取后，计算出他们统一的嵌入形式：给定视频V_k，将每个片段的特征向量馈入由一个全连接层，一个ReLU激活层和一个Dropout层组成的模块，得到嵌入特征向量，所述嵌入特征向量可表示为：

X_emb＝f_embed(X,Θ_embed)#(1)

其中f_embed表示嵌入网络，Θ_embed表示该网络中的超参数。

步骤三：应用ClassActivationSequence模块计算视频中每个嵌入特征向量的片段级动作分类评分，所述片级动作分类评分表示为：

其中g_cas表示带有超参数的CAS线性分类器。