[发明专利]一种基于3D卷积的行人异常行为识别方法

说明书

本发明公开一种基于3D卷积的行人异常行为识别方法，包括步骤：S1：创建一个包含打架斗殴、遛狗、摔倒等异常行为的数据集；S2：结合最新的视频行为识别方案，构建一个兼顾精度与速率的3D卷积神经网络；S3：对数据集中图像进行预处理后送入3D卷积神经网络，得到视频异常行为识别模型；S4：输入测试行人监控视频，输出异常行为类型。本发明所述识别方法将轻量级的2D卷积网络MobileNet思想迁移到3D网络中，可以在保持识别性能的基础上降低计算成本；同时，采用自适应池化层与稀疏时间采样策略，可以减少连续帧中包含大量冗余的信息与模糊噪声。

技术领域

本发明属于视频处理技术领域，主要涉及行人异常行为识别，具体来说，即基于3D卷积的行人异常行为识别方法。

背景技术

行为识别在现实生活中有着广泛应用，引起了广大研究团队的兴趣。随着深度学习技术在图像领域的快速发展，研究者开始相信深度学习方法也可以用于视频分析和理解等任务。相比于传统的基于人工特征方法，采用深度学习方法的模型能够自动地获取有意义的分层特征表示。然而，从互联网或者电影中获取的视频片段比之前的标准数据中库中的视频样本更加复杂，这些视频片段包含了大量的运动成分。这些因素使得学习一个有意义的视觉表示更加困难，如何从视频中提取有效的特征仍然是众多研究人员的核心工作。

在深度神经网络体系结构中使用3D卷积是一种流行且有效的学习视频特征方法。3D卷积是2D卷积的扩展，具有三维内核，可以沿时间维度卷积。通过简单地替换2D空间卷积核，3D卷积核可用于构建3D CNN，使得模型可以实现端到端的训练。最先进的3D CNN模型，如Res 3D和I3D以这种直截了当的方式构建了CNN模型，并使用多层3D卷积来学习强大的视频特征，在多个数据集上实现了最高精度，但是计算代价非常高昂。

发明内容

尽管最近的算法着重于提高3D CNN的效率，同时保持其在视频识别任务上的最先进的准确性。例如，3D MF-Net每个残差块内部引入稀疏连接，在精度与速率上取得了一定的成效，但其中的3D卷积依旧有很大的计算量，本发明使用MobileNet中的可深度分离卷积思想、宽度乘数以及分辨率乘数进一步减少网络模型的计算量，此外采用自适应池化层与稀疏时间采样策略，重点关注信息量较高的关键帧，丢弃大部分非信息帧，以减少连续帧中包含大量冗余的信息与模糊噪声。

本发明采取如下技术方案：

一种基于3D卷积的行人异常行为识别方法，包括步骤：

S1：创建一个包含异常行为的数据集；

S2：结合视频行为识别方案，构建一个兼顾精度与速率的3D卷积神经网络；

S3：对数据集中图像进行预处理后送入3D卷积神经网络，得到视频异常行为识别模型；

S4：输入测试监控视频，输出异常行为类型。

所述的，所述步骤S3具体实施步骤如下：

S3.1：对训练视频大小调整分辨率，使用稀疏采样方案在长视频序列上提取短片段，然后在各片段的时间维度上进行均匀采样，最终将各片段中的采样帧拼接为一组连续帧；

S3.2：将输入图像送入3D卷积神经网络，通过一系列三维卷积操作，非线性激活函数，三维池化操作层层堆叠，逐层从原始数据获取高层语义信息，输出学习的特征向量；

S3.3：计算输出层实际值和输出值间的偏差，根据反向传播算法中的链式法则，得到每个隐藏层的误差，根据每层的误差调整各层的参数，完成网络的反向传播过程；

S3.4：不断迭代前两步中的正向传播和反向传播过程，直至网络收敛。