[发明专利]一种针对视频行为检测的行为提议生成方法

说明书

本发明公开一种针对视频行为检测的行为提议生成方法。在特征提取阶段，使用slow和fast两个通道分别提取视频的空间信息和时间信息；在行为提议生阶段，首先对提取到的空间信息和时间信息使用不同的预处理过程，并在两个不同阶段进行融合，接着，使用PFG layer为每个行为提议进行采样，生成提议特征，并分别输送到TEM和PEM用以预测边界可能性序列和边界匹配置信度图，最后，对预测结果进行置信度融合生成候选行为提议，并使用Soft‑NMS算法进行筛选。本发明能够在原始视频未裁剪的情况下，对未裁剪视频生成行为提议，分割出视频中包含行为的视频片段，定位出行为发生的起始时间和结束时间。

技术领域

本发明涉及一种行为提议生成方法，特别涉及一种针对视频行为检测的行为提议生成方法，属于图像处理和计算机视觉领域。

背景技术

随着信息时代的发展，短视频APP如抖音、快手等越来越受人们欢迎，这产生了大量的视频数据，与此同时，视频行为检测的需求也越来越强烈。在视频监控中，通过行为检测，判断视频内否存在异常情况，比如暴力、斗殴等，从而实时检测可能存在的危险行为，并对监管人员发出危险提示信息；在自动驾驶中，通过车捕捉到的画面信息，对画面中的对象做行为检测，并预测对象下一步的运动轨迹，从而制定出安全可靠的行车路线，规避行人，提升自动驾驶的安全性；在赛事解说中，通过对比赛中的运动员做行为检测，比如篮球比赛中的三分、盖帽、抢断等，让实时的机器人解说变得无限可能等等。在视频行为检测中，行为提议生成是最关键的技术，通过行为提议生成，对视频中可能发生行为的片段进行定位，去除原始未裁剪视频的噪声片段，将其分割成仅包含行为的视频片段。

目前主流的行为提议生成方法分为两个过程：第一，对原始未裁剪视频进行特征提取，这一过程常采用双流卷积神经网络的方法，但双流网络由于需要计算连续视频帧之间的光流信息作为输入，需要占用大量的计算时间和光流信息存储成本，因此效率很低；第二，对提取的深度特征进行提议生成，这一过程涉及到的技术尚不成熟。

现阶段的行为提议生成方法中，主要面临以下几个难点：

1、视频的时序性：相比于图像只包含空间信息，视频更需要关注时序信息。

2、计算的复杂性：视频是由一系列帧图像堆叠而成，目前大部分的算法都需要进行复杂的光流计算或者通过三维卷积核来处理视频的时间维度。光流的计算是一个复杂的过程，需要花费大量的计算时间，三维卷积核因为多增加了一个时间维度，大大增加了网络的参数数量，这对计算机硬件提出更高的要求。

3、提议生成：目前涉及提议生成的研究太少，大多数方法都是从图像的目标检测算法中演变过来，并且取得的效果都不尽人意，需要设计合理的网络预测输出和尽量准确的提议生成方法。

发明内容

本发明解决了上述问题和难点，提供了一种针对视频行为检测的行为提议生成方法，这种方法能够针对视频行为检测问题，在原始视频未裁剪的情况下，对原始视频生成行为提议，去除视频的噪声片段，分割出视频中包含行为的视频片段，定位出行为发生的起始时间和结束时间。

为了实现上述目的，本发明的技术方案如下：

一种针对视频行为检测的行为提议生成方法，所述方法包括以下步骤：

步骤1：构建设计SlowFast神经网络，将SlowFast神经网络设计为slow和fast两个通道，每个通道均采用3DResnet-50作为主干网络，在Kinetics-600数据集上对SlowFast网络进行训练至收敛，得到SlowFast深度特征提取模型；

步骤2：使用步骤1训练好的SlowFast深度特征提取模型对ActivityNet数据集进行特征提取，得到ActivityNet深度特征数据集；

步骤3：构建设计BMNPlus神经网络及特定的损失函数，在步骤2的ActivityNet深度特征数据集上对BMNPlus网络进行训练至收敛，得到行为提议生成模型；