[发明专利]单阶段的视频行为检测方法

权利要求书

1.一种单阶段的视频行为检测方法，其特征在于，包括：

在训练阶段，基于卷积神经网络构建多尺度行为片段回归网络；将训练视频和帧级真实行为标签作为输入，使用多任务学习的端到端优化方法训练多尺度行为片段回归网络，获得训练好的多尺度行为片段回归网络模型；

在使用阶段，当新视频输入时，通过时间维度滑窗生成与训练视频具有相同长度的输入帧序列，使用训练好的多尺度行为片段回归网络模型，预测输入帧序列的行为类别和对应的时间位置；再使用非极大值抑制对预测结果进行处理，产生最终的行为检测结果；

其中，所构建的多尺度行为片段回归网络包括：基础泛化模块、行为实例锚定模块和行为预测模块；其中：

所述基础泛化模块，包含交替设置的N₁层三维卷积层和N₂层三维最大值池化层，用于对输入的视频序列进行特征泛化，并扩大感受野；

所述行为实例锚定模块，采用N₃层时间维度上的步幅为s₁，空间维度上的步幅为s₂的三维卷积网络，用于为本模块每一个三维卷积层输出的锚定特征图的每个单元格关联不同时间长度的锚定行为实例；

所述行为预测模块，用于对锚定特征图的每个单元格使用D_k·(m+2)个尺寸为h×w×3的卷积核进行卷积，输出相应单元格对应的D_k个锚定行为实例对m个行为类别的预测得分和两个时间位置偏移量；其中，h、w对应的表示锚定特征图的高、宽。

2.根据权利要求1所述的一种单阶段的视频行为检测方法，其特征在于，所述行为实例锚定模块中，为每个锚定特征图定义一个基础时间刻度s_k，k∈[1,N₃]；为每个锚定特征图定义一组刻度比率D_k是刻度比率的个数，刻度比率的个数等于锚定行为实例的个数；每个锚定特征图的大小表示为h×w×t，t表示锚定特征图的长，则锚定特征图的每一个尺寸为h×w×3的单元格关联D_k个锚定行为实例，行为实例的时间长度为l_d＝s_k·r_d，d∈[1,D_k]，中心位置为单元格中心。

3.根据权利要求1所述的一种单阶段的视频行为检测方法，其特征在于，

将训练视频和帧级真实行为标签作为输入，结合训练目标函数，通过梯度下降法对多尺度行为片段回归网络中的参数进行训练，训练过程如下：

使用固定帧率从训练视频中提取视频帧，获得训练帧图片序列，并将每帧图片调整到统一的分辨率；再顺序滑窗相同长度的子序列作为输入帧序列，每个滑窗的长度为GPU显存允许的最大帧数；

使用正样本匹配策略建立锚定行为实例和标签中的真实行为实例之间的对应关系；

采用多任务损失函数作为多尺度行为片段回归网络训练的目标函数，通过随机梯度下降法训练，通过迭代生成最终的多尺度行为片段回归网络模型。

4.根据权利要求3所述的一种单阶段的视频行为检测方法，其特征在于，所述使用正样本匹配策略建立锚定行为实例和标签中的真实行为实例之间的对应关系包括：

在每个训练样本中，计算每个锚定行为实例和每个标签真实行为实例在时间维度上的重叠度，如果重叠度超过固定阈值，将相应锚定行为实例作为正样本，否则作为负样本；其中，一个标签真实实例能够匹配多个锚定行为实例。

5.根据权利要求3所述的一种单阶段的视频行为检测方法，其特征在于，所述多任务损失函数是指，网络训练的目标函数L_loss中联合行为分类损失和行为时间位置回归损失，表示为：

上式中，L₂(Θ)为L2正规化损失，Θ为学习到的所有多尺度行为片段回归网络中的参数，α和β为损失权衡参数分别用来控制时间位置偏移损失和正规化损失，N_cls和N_pos分别为总训练样本和正样本的数量，是对第i个锚定位置的行为类别的预测向量，其中上标j表示第j个行为类别，共m个行为类别；表示在第i个锚定位置对标签真实类别的预测得分，上标g表示第g个行为类别为真实标签类别；t_i为锚定实例的时间位置偏移量，为标签真实位置和锚定位置的坐标变换；

L_cls为行为分类损失，设置为多类别的软极大值损失：

L_loc为行为时间位置回归损失，设置为时间位置偏移的平滑L1损失。