[发明专利]一种应用模板匹配方法的弱监督单个动作定位方法

摘要

本发明公开了一种应用模板匹配方法的弱监督单个动作定位方法，包括：在视频每一帧中给出若干动作主体位置的候选框区域，按照时间顺序把这些候选框连接形成动作提名；利用训练集视频中部分视频帧求得动作模板，其中与动作模板匹配误差越小的动作提名越能接近动作实际位置；利用动作提名与动作模板训练动作定位模型完成动作定位操作。该方法是弱监督性质，训练时将动作真实位置看成是隐变量，利用动作模板在短时间内完成模型参数的学习，动作定位准确，受相机抖动影响较小，并且可以处理任意长度视频，方法应用范围广泛。

主权项

1.一种应用模板匹配方法的弱监督单个动作定位方法，其特征在于，包括：对数据集中训练集的每类视频均选取部分视频帧，每一帧均用标注框人工标注动作主体位置，提取标注框的VGG特征，形成每类动作的动作模板M，表示为：M＝dim×n，式中dim为VGG特征的维度，n为标注框个数；构建基于模板匹配的动作定位模型；模型训练：对训练集中单个视频的每一帧给出动作主体的若干个候选框，然后按时间顺序连接候选框形成多个候选动作轨迹，得到该训练视频的动作提名，即为样本提名，提取该训练视频的C3D特征和对应的样本提名的C3D特征，将该训练视频的每个样本提名分别与动作模板相匹配，通过设置约束条件使动作定位模型对该训练视频进行正确的类别判定，并选择与动作实际位置最接近的样本提名作为该训练视频中动作主体的位置，输出对应的模型参数；模型测试：对测试集中单个视频的每一帧给出动作主体的若干个候选框，然后按时间顺序连接候选框形成多个候选动作轨迹，得到该测试视频的动作提名，即为目标提名，提取该测试视频的C3D特征和对应的目标提名的C3D特征，代入训练好的动作定位模型，利用确定的模型参数确定动作类别和动作位置。