[发明专利]一种基于改进的C3D视频行为检测方法

说明书

本发明提供了一种基于改进的C3D视频行为检测方法，主要涉及卷积神经网络。在NVIDIA JetsonTX2上，采用改进的SqueezeNet与C3D相结合卷积神经网络，并引入BN层与short‑cut结构，最后将训练模型部署到NVIDIA JetsonTX2上，对视频行为进行分析、检测。实验结果表明，改进后的SqueezeNet‑C3D卷积神经网络相比于C3D神经网络在精度上提高了4.4％；改进后的SqueezeNet‑C3D网络与SqueezeNet‑C3D网络相比，参数量降低了15％，降低网络对计算机硬件的要求。可见本发明提出的网络具有精度高、参数量少的优点。

技术领域

本发明涉及深度学习领域中的行为检测问题，尤其是涉及一种基于改进的C3D视频行为检测方法。

背景技术

行为检测作为计算机视觉领域和图像处理中的一个重要的研究方向。在传统行为检测领域，DT算法是最经典的算法之一，它主要包括密集采样特征点，特征点轨迹跟踪以及基于轨迹的特征提取三个部分；2013年由IEAR实验室发表的iDT算法，对DT算法做了改进，主要改进在于对光流图像的优化，特征正则化方式的改进以及特征编码方式的改进，大大提升了算法的效果。自深度学习应用到行为检测领域后，使用基于深度学习的方法得到的效果已经明显超过了使用传统算法。

深度学习理论提出以来，研究人员发现应用深度学习去进行行为检测，可以有效提高检测效果和性能，因此深度学习在实时视频的行为检测开始广泛应用，到现在为止，其检测效率和精度已经有了很大提高。在深度学习理论中，Two-Stream是一个主流方法，它是由时间、空间两个网络组成，该方法提出对视频序列中每两帧计算密集光流，然后得到密集光流的序列。然后再对光流序列和图像序列分别训练卷积神经网络模型，然后再训练一个fusion网络进行融合图像序列和光流序列的网络；C3D(3-Dimensional Convolution)是另一个主流方法，在目前来看,使用C3D方法得到的效果要比Two-Stream方法略差些，但C3D网络结构简单，而且C3D运行时间短，处理速度快，所以仍然是当前研究热门。总之，使用基于深度学习的方法得到的效果已经明显超过了使用传统算法。

发明内容

本发明的目的是为提高检测精度的同时减少网络参数量，本发明基于深度学习，提出了一种基于改进的C3D视频行为检测方法，相比C3D神经网络，本发明的方法提高了检测的准确度，大大减小网络的参数量。

为了方便说明，首先引入如下概念：

卷积神经网络(Convolutional Neural Network,CNN)：受视觉神经机制的启发而设计，是一种多层前馈神经网络，每层由多个二维平面或三维平面组成，平面上的每个神经元独立工作，卷积神经网络主要包括特征提取层和特征映射层。

C3D(3-Dimensional Convolution)卷积神经网络：该网络采用三维卷积对视频连续帧进行操作，相比于二维卷积更能简单有效地处理时间信息。如图1所示，C3D一共进行了8次卷积、5次池化和2次全连接操作，具有较高的准确度，是一种简单、高效、通用、快速的行为识别卷积神经网络。

SqueezeNet：主要是为了降低卷积神经网络模型参数数量而设计的，如图2所示，将原本为一层的卷积分解为两层：squeeze层和expand层，每层都有一个激活层，squeeze层里都是1*1的卷积，数量为s1；expand层里有1*1和3*3两种卷积核，数量分别为e1、e3，在数量上4*s1＝e1＝e3。expand层之后将1*1和3*3卷积后得到的feature map进行拼接，然后把这两层封装为一个Fire_Module。Fire_Module输入的feature map为H*W*C，输出的featuremap为H*W*(e1+e3)，可以看到feature map的分辨率是不变的，变化的是通道的数量。

本发明具体采用如下技术方案：