[发明专利]一种应用模板匹配方法的弱监督单个动作定位方法

权利要求书

1.一种应用模板匹配方法的弱监督单个动作定位方法，其特征在于，包括：

对数据集中训练集的每类视频均选取部分视频帧，每一帧均用标注框人工标注动作主体位置，提取标注框的VGG特征，形成每类动作的动作模板M，表示为：M＝dim×n，式中dim为VGG特征的维度，n为标注框个数；

构建基于模板匹配的动作定位模型；

模型训练：对训练集中单个视频的每一帧给出动作主体的若干个候选框，然后按时间顺序连接候选框形成多个候选动作轨迹，得到该训练视频的动作提名，即为样本提名，提取该训练视频的C3D特征和对应的样本提名的C3D特征，将该训练视频的每个样本提名分别与动作模板相匹配，通过设置约束条件使动作定位模型对该训练视频进行正确的类别判定，并选择与动作实际位置最接近的样本提名作为该训练视频中动作主体的位置，输出对应的模型参数；

模型测试：对测试集中单个视频的每一帧给出动作主体的若干个候选框，然后按时间顺序连接候选框形成多个候选动作轨迹，得到该测试视频的动作提名，即为目标提名，提取该测试视频的C3D特征和对应的目标提名的C3D特征，代入训练好的动作定位模型，利用确定的模型参数确定动作类别和动作位置。

2.根据权利要求1所述的应用模板匹配方法的弱监督单个动作定位方法，其特征在于，候选框的获取方法为YOLOv3、EdgeBoxes和Objectness方法，其中YOLOv3方法用于在每一帧上提取动作主体的候选框，EdgeBoxes和Objectness用于在每一帧上提取物体的候选框，连接候选框时优先连接YOLOv3候选框，在出现丢失检测帧时采用EdgeBoxes或Objectness候选框替代。

3.根据权利要求1所述的应用模板匹配方法的弱监督单个动作定位方法，其特征在于，候选框连接时设定连接得分阈值，在连接得分小于该连接得分阈值时，结束相应动作提名的后续连接，其中，候选框之间的连接得分由式(1)至式(4)计算：

score＝α₁·IOU+α₂·A+α₃·S (1)；

α₁+α₂+α₃＝1 (4)；

式中，box₁和box₂代表待连接的两个候选框，IOU表示两个候选框的重叠度，A表示两个候选框的面积相似性，area₁和area₂分别是两个候选框的具体面积，S表示颜色直方图实际相似性。

4.根据权利要求3所述的应用模板匹配方法的弱监督单个动作定位方法，其特征在于，α₁、α₂、α₃分别设为0.3、0.3、0.4。

5.根据权利要求4所述的应用模板匹配方法的弱监督单个动作定位方法，其特征在于，连接得分阈值为0.2。

6.根据权利要求1所述的应用模板匹配方法的弱监督单个动作定位方法，其特征在于，模型训练的方法为：

设V＝{(x_i,y_i)_i＝1:N}表示训练集，其中x_i表示第i个视频，N是训练集的视频数量，Y是动作类别集合，y_i是视频x_i的动作类别，y_i∈Y；H_i表示从视频x_i中提取的样本提名h_i的集合，采用公式(5)-(6)所示的判别函数F(x,h)判别与视频动作实际位置最接近的样本提名：

式中，Φ(x,h)是由视频x的C3D特征和视频x中样本提名h的C3D特征组成的联合特征，w_y表示与动作类别y相关的模型参数向量，w_y∈w，w为模型参数；

采用隐变量支持向量机学习判别函数F(x,h)的参数，隐变量支持向量机参数优化问题定义如下：

s.t.

式中，c₁、c₂是惩罚系数，ξ_i、是松弛变量，y′从动作类别集合Y中取值，表示与视频x_i动作实际位置最接近的样本提名；对Δ(y_i,y’)，当y_i≠y’时，Δ＝1，否则Δ＝0；t_j是动作类别y_j的动作模板，表示与t_j的匹配误差，h'_i∈H_i。