[发明专利]一种基于动作边界概率的级联动作候选框生成方法与系统

说明书

本发明公开了一种基于动作边界概率的级联动作候选框生成方法，对待检测输入视频，使用特征提取网络得到特征，通过级联模型预测每个位置上属于动作边界点的概率。级联模型分为两级：第一级模型对输入特征进行粗糙的边界预测，分别预测每一个位置属于动作起点、终点和动作内部的概率；再将第一级模型的输出和原始特征串联起来当作新特征输入到第二级模型，让第二级模型再次预测每个位置上属于动作起点、终点和动作内部的概率；得到级联模型预测的概率后，将起点或终点概率大于设定的阈值的位置组合进而得到动作候选框。本方法简单易行，推广能力强，产生的候选框质量高，能有效克服视频背景杂乱和目标运动快慢变化范围大的不利因素的影响。

技术领域

本发明属于计算机视觉技术领域，更具体地，涉及一种基于动作边界概率的级联动作候选框生成方法与系统。

背景技术

人体动作检测在人们的日常生活有许多方面的应用，如智能安防、人机交互、体育运动分析、自动驾驶和智能家居等。人体动作检测研究的是如何从一整段视频中找出真正发生动作的时间段，而本文所述的动作候选框生成方法属于人体动作检测研究内容的一部分。

目前的动作候选框生成方法通常是首先在时序上进行稠密的滑窗，然后对每个滑窗进行上下文特征融合，最后再进行候选片段预测。这种方案对于局部特征变化较为敏感，但是对更长时间范围内的特征变化难以捕捉，容易在局部区域得到多个冗余的候选片段，同时漏掉一些时间跨度大的候选动作片段。

因此需要设计一种动作候选框生成方法，不仅能够充分捕捉时域上的上下文信息，更能够在更长的时域范围内记住动作的状态，以此来产生高质量的动作候选框。

发明内容

本发明的目的在于提供一种基于动作边界概率的级联动作候选框生成方法，该方法可以有效地捕捉动作在时域上的上下文信息并捕捉动作在时域上的关联性，得到高质量的动作候选框。

为实现上述目的，按照本发明的一个方面，提供了一种基于动作边界概率的级联动作候选框生成方法，包括下述步骤：

(1)视频的特征提取：

(1.1)对每个输入视频，都抽取为图像帧，然后以16为步长对图像帧进行采样，在每个采样的位置进行双流特征提取；

(1.2)对每个采样位置，提取图像流特征时，选取采样位置的1帧图片作为原始数据，提取光流特征时，选取采样位置前后5帧共10帧作为原始数据，然后将光流原始数据送入在BN-Inception网络中提取200维光流特征；将图像流原始数据送入200层的ResNet网络中提取200维图像特征；再将二者直接串联起来作为视频特征使用；

(2)训练级联模型的第一级模型：

(2.1)定义用于训练第一级模型的动作边界概率真实值：动作起点概率、动作终点概率和动作内部概率。对于一段起点为s，终点为e的动作a＝[s,e]，持续的时长d＝e-s，则其动作起点概率S^G在处为1，其他位置为0；其动作终点概率E^G在处为1，其他位置为0；其动作内部概率A^G在[s,e]处为1，其他位置为0；

(2.2)搭建基于时域卷积网络的第一级边界概率预测模型：一共包含三层卷积网络，前两层网络的都是：{1+3+5+max_3+dilated_conv}，其中的数字1、3、5分别表示一个大小为1、3、5的时域卷积核，max_3表示大小为3的时域最大值池化，dilated_conv表示空洞卷积模块，其中各个部分都使用ReLU函数作为激活函数，其函数定义式为最后一层是一个大小为1，有三个独立滤波器的时域卷积层，其使用sigmoid函数作为激活函数，sigmoid函数定义式为以便将输出结果映射为表示动作起点的概率S₁、表示动作终点的概率E₁和表示动作内部的概率A₁；