[发明专利]一种基于动作边界概率的级联动作候选框生成方法与系统

摘要

本发明公开了一种基于动作边界概率的级联动作候选框生成方法，对待检测输入视频，使用特征提取网络得到特征，通过级联模型预测每个位置上属于动作边界点的概率。级联模型分为两级：第一级模型对输入特征进行粗糙的边界预测，分别预测每一个位置属于动作起点、终点和动作内部的概率；再将第一级模型的输出和原始特征串联起来当作新特征输入到第二级模型，让第二级模型再次预测每个位置上属于动作起点、终点和动作内部的概率；得到级联模型预测的概率后，将起点或终点概率大于设定的阈值的位置组合进而得到动作候选框。本方法简单易行，推广能力强，产生的候选框质量高，能有效克服视频背景杂乱和目标运动快慢变化范围大的不利因素的影响。

主权项

1.一种基于动作边界概率的级联动作候选框生成方法，其特征在于，所述方法包括下述步骤：(1)特征提取：(1.1)对每个输入视频，都抽取为图像帧，然后以16为步长对图像帧进行采样，在每个采样的位置进行双流特征提取；(1.2)对每个采样位置，提取图像流特征时，选取采样位置的1帧图片作为原始数据，提取光流特征时，选取采样位置前后5帧共10帧作为原始数据，然后将原始数据送到特征提取网络中进行特征提取；(2)训练级联模型的第一级模型：(2.1)定义用于训练第一级模型的动作边界概率真实值：动作起点概率、动作终点概率和动作内部概率；对于一段起点为s，终点为e的动作a＝[s,e]，持续的时长d＝e‑s，则其动作起点概率S^G在处为1，其他位置为0；其动作终点概率E^G在处为1，其他位置为0；其动作内部概率A^G在[s,e]处为1，其他位置为0；(2.2)搭建基于时域卷积网络的第一级边界概率预测模型；(2.3)对输入视频特征以100为窗长，步长也为100进行不重叠的滑窗采样，产生多个可以直接用于训练的特征；(2.4)将从步骤(2.3)获取的特征送到第一级模型中预测动作起点概率S₁、动作终点概率E₁和动作内部概率A₁；(2.5)从步骤(2.4)获取的三个预测概率分别与概率真实值之间计算损失函数，然后利用反向传播法进行模型训练；(3)训练级联模型的第二级模型：(3.1)从步骤(2.1)获取与第一级模型相同的训练目标；(3.2)搭建基于长短期记忆网络的第二级边界概率微调模型；(3.3)同时接收步骤(2.3)的特征和第一级模型在步骤(2.4)的输出作为输入，送到第二级模型中预测动作起点概率S₂、动作终点概率E₂和动作内部概率A₂；(3.4)从步骤(3.3)获取的三个预测概率分别与概率真实值之间计算损失函数，然后利用反向传播法进行模型训练；(4)利用上述训练好的级联模型对待检测测试视频进行预测，包括如下子步骤：(4.1)对测试视频进行步骤(1)中的特征提取，得到视频多帧的特征向量；(4.2)利用训练好的级联模型对视频进行边界概率预测，得到两级模型的输出S₁、E₁、A₁、S₂、E₂和A₂；(5)根据边界概率生成动作候选框：(5.1)对步骤(4.4)获取的边界概率S₂和E₂根据特定的规则生成动作候选框集合C₁；(5.2)对步骤(5.1)获取动作候选框集合C₁中的每个动作候选框都在均值概率S₂、E₂和A₂上进行采样，得到表示动作性的特征，然后基于这个特征训练一个用于评估动作性的二分类器；(5.3)对步骤(5.1)获取动作候选框集合C₁中的每个动作候选框都使用步骤(5.2)中的二分类器进行打分预测，得到每个集合C₁中每个候选框的动作置信度分数p_conf；(5.4)对步骤(5.1)获取动作候选框集合C₁和步骤(5.3)获取的每个候选框的置信度分数p_conf进行后处理，滤除一些冗余的候选框，剩下的动作候选框集合C₂就是生成的动作候选框。