[发明专利]一种应用模板匹配方法的弱监督单个动作定位方法

说明书

本发明公开了一种应用模板匹配方法的弱监督单个动作定位方法，包括：在视频每一帧中给出若干动作主体位置的候选框区域，按照时间顺序把这些候选框连接形成动作提名；利用训练集视频中部分视频帧求得动作模板，其中与动作模板匹配误差越小的动作提名越能接近动作实际位置；利用动作提名与动作模板训练动作定位模型完成动作定位操作。该方法是弱监督性质，训练时将动作真实位置看成是隐变量，利用动作模板在短时间内完成模型参数的学习，动作定位准确，受相机抖动影响较小，并且可以处理任意长度视频，方法应用范围广泛。

技术领域

本发明涉及运动视频的动作定位技术领域，具体涉及一种应用模板匹配方法的弱监督单个动作定位方法。

背景技术

计算机视觉中动作定位任务不仅需要在空间上和时序上完成定位动作操作，而且需要确定动作类别。即：不仅需要确定动作在视频每个视频帧上的具体实际位置，而且需要确定动作从什么时刻开始到什么时刻结束，以及视频中动作是什么类别动作。动作定位有着广泛实际应用前景，比如：警方需要确定犯罪分子逃跑路线或街头斗殴经过以及球迷希望集中观看足球场上精彩射门瞬间等具体应用环境。

近些年来，计算机视觉领域针对视频动作定位的研究工作已有部分研究成果，其中大部分只能达到在时序上对动作进行定位操作，无法在空间上对动作进行定位。现有的能够实现动作时空定位的方法大致可分为两类：一种是强监督方法；另一种是弱监督方法。强监督方法定位操作的主要缺点是必须需要针对数据集中视频每帧图像逐一完成标注操作，使得科研人员把大部分时间消耗在标注数据集这种简单重复工作中，牺牲真正研究算法的宝贵时间。弱监督方法通过利用从网络上下载图像来帮助定位人的实际动作，减小标注数据集所花费时间精力，但是获取合适的网络图像、处理网络图像同样存在难度。

发明内容

现有动作时空定位方法中，强监督方法数据集标注工作量大且容易标错，弱监督方法难以获取网络图像，为克服这一缺陷，本发明的目的是提出一种应用模板匹配方法的弱监督单个动作定位方法，本方法只需要针对视频做类别标注和极少的视频帧级别标注操作，能够大大减少处理数据集的宝贵时间，同时也不用借助上述网络图像搜集过程。

为实现上述目的，本发明采用以下技术方案：

一种应用模板匹配方法的弱监督单个动作定位方法，包括：

对数据集中训练集的每类视频均选取部分视频帧，每一帧均用标注框人工标注动作主体位置，提取标注框的VGG特征，形成每类动作的动作模板M，表示为：M＝dim×n，式中dim为VGG特征的维度，_n为标注框个数；

构建基于模板匹配的动作定位模型；

模型训练：对训练集中单个视频的每一帧给出动作主体的若干个候选框，然后按时间顺序连接候选框形成多个候选动作轨迹，得到该训练视频的动作提名，即为样本提名，提取该训练视频的C3D特征和对应的样本提名的C3D特征，将该训练视频的每个样本提名分别与动作模板相匹配，通过设置约束条件使动作定位模型对该训练视频进行正确的类别判定，并选择与动作实际位置最接近的样本提名作为该训练视频中动作主体的位置，输出对应的模型参数；

模型测试：对测试集中单个视频的每一帧给出动作主体的若干个候选框，然后按时间顺序连接候选框形成多个候选动作轨迹，得到该测试视频的动作提名，即为目标提名，提取该测试视频的C3D特征和对应的目标提名的C3D特征，代入训练好的动作定位模型，利用确定的模型参数确定动作类别和动作位置。

优选的，候选框的获取方法为YOLOv3、EdgeBoxes和Objectness方法，其中YOLOv3方法用于在每一帧上提取动作主体的候选框，EdgeBoxes和Objectness用于在每一帧上提取物体的候选框，连接候选框时优先连接YOLOv3候选框，在出现丢失检测帧时采用EdgeBoxes或Objectness候选框替代。