[发明专利]一种基于动作边界概率的级联动作候选框生成方法与系统

权利要求书

1.一种基于动作边界概率的级联动作候选框生成方法，其特征在于，所述方法包括下述步骤：

(1)特征提取：

(1.1)对每个输入视频，都抽取为图像帧，然后以16为步长对图像帧进行采样，在每个采样的位置进行双流特征提取；

(1.2)对每个采样位置，提取图像流特征时，选取采样位置的1帧图片作为原始数据，提取光流特征时，选取采样位置前后5帧共10帧作为原始数据，然后将原始数据送到特征提取网络中进行特征提取；

(2)训练级联模型的第一级模型：

(2.1)定义用于训练第一级模型的动作边界概率真实值：动作起点概率、动作终点概率和动作内部概率；对于一段起点为s，终点为e的动作a＝[s,e]，持续的时长d＝e-s，则其动作起点概率S^G在处为1，其他位置为0；其动作终点概率E^G在处为1，其他位置为0；其动作内部概率A^G在[s,e]处为1，其他位置为0；

(2.2)搭建基于时域卷积网络的第一级边界概率预测模型；

(2.3)对输入视频特征以100为窗长，步长也为100进行不重叠的滑窗采样，产生多个可以直接用于训练的特征；

(2.4)将从步骤(2.3)获取的特征送到第一级模型中预测动作起点概率S₁、动作终点概率E₁和动作内部概率A₁；

(2.5)从步骤(2.4)获取的三个预测概率分别与概率真实值之间计算损失函数，然后利用反向传播法进行模型训练；

(3)训练级联模型的第二级模型：

(3.1)从步骤(2.1)获取与第一级模型相同的训练目标；

(3.2)搭建基于长短期记忆网络的第二级边界概率微调模型；

(3.3)同时接收步骤(2.3)的特征和第一级模型在步骤(2.4)的输出作为输入，送到第二级模型中预测动作起点概率S₂、动作终点概率E₂和动作内部概率A₂；

(3.4)从步骤(3.3)获取的三个预测概率分别与概率真实值之间计算损失函数，然后利用反向传播法进行模型训练；

(4)利用训练好的级联模型对待检测测试视频进行预测，包括如下子步骤：

(4.1)对测试视频进行步骤(1)中的特征提取，得到视频多帧的特征向量；

(4.2)利用训练好的级联模型对视频进行边界概率预测，得到两级模型的输出S₁、E₁、A₁、S₂、E₂和A₂；

(5)根据边界概率生成动作候选框：

(5.1)对步骤(4.2)获取的边界概率S₂和E₂根据特定的规则生成动作候选框集合C₁；

(5.2)对步骤(5.1)获取动作候选框集合C₁中的每个动作候选框都在均值概率S₂、E₂和A₂上进行采样，得到表示动作性的特征，然后基于这个特征训练一个用于评估动作性的二分类器；

(5.3)对步骤(5.1)获取动作候选框集合C₁中的每个动作候选框都使用步骤(5.2)中的二分类器进行打分预测，得到每个集合C₁中每个候选框的动作置信度分数p_conf；

(5.4)对步骤(5.1)获取动作候选框集合C₁和步骤(5.3)获取的每个候选框的置信度分数p_conf进行后处理，滤除一些冗余的候选框，剩下的动作候选框集合C₂就是生成的动作候选框。