[发明专利]基于双通道三维卷积神经网络的实时暴力行为检测系统

说明书

本发明提供一种基于双通道三维卷积神经网络的实时暴力行为检测系统，包括：视频采集模块，实时抓取视频帧，并分别送至所述视频处理模块及所述播放模块；视频处理模块，利用卷积神经网络对接收的视频帧进行特征提取，并将提取的特征进行组合，进而根据组合特征对图像数据进行分类；播放模块，将所述视频处理模块得到的图像分类结果标记到所述视频采集模块发送的视频帧中，向用户进行播放；所述视频采集模块、视频处理模块及播放模块并行工作。本发明通过引入双通道思想提高了识别的准确率，同时通过引入反卷积层实现了暴力行为发生的时间的精确定位。

技术领域

本发明涉及视频监控技术领域，具体而言，尤其涉及一种基于快、慢双通道三维卷积神经网络的实时暴力行为检测系统。

背景技术

视频人体行为识别与检测是计算机视觉中最具挑战性的任务之一，其可以在视频监控、运动检索、人机交互、智能家居以及医疗保健等众多领域广泛应用。目前行为识别领域共有两大分支：以IDT(improved Dense Trajectories)算法为代表的传统方式，以及以二维卷积、三维卷积、RNN-LSTM为代表的深度学习方式。从发展趋势上看深度学习方式在性能上已经超过传统方式。

密集轨迹算法(improved Dense Trajectories，IDT)：传统方法与深度学习方法的主要区别在于用于分类的特征的来源。传统方法是根据经验手动提取某一种或某几种分类效果较好的特征混合起来进行分类。深度学习的方法是人将已经分好类的样本交给计算机让他自己学习一套模型，利用学习到的模型可以提取到某几种特征组合的特征进行分类，至于模型具体提取了哪些特征，人类无从知晓。传统方法提取到的特征种数是有限的，特征能选择范围也是有限的，所以手工提取到的特征不如模型提取到的特征精准。这也是深度学习的优势所在。

双通道卷积神经网络(Two-Stream-CNN)：是二维卷积解决行为识别问题的代表性算法。主要内容：两个通道同时处理RGB帧序列和光流帧序列,两个通道特征提取过程中无信息交流，特征提取结束后以某种方式将特征进行融合用于分类得到最终结果。因为网络每次只能处理一张图像，且序列中每一帧图像都需要进行处理，视频相邻帧图像之间又存在大量的重复信息，所以该算法中存在重复计算的现象，识别检测速度受到了很大的制约，无法满足实时性的要求。

长短期记忆网络(Long-Short Term Memory,LSTM)：由于独特的设计结构，LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。所以在行为识别与检测方向上，LSTM有着不错的效果，也是目前主流方向之一。

二维卷积在图像识别与检测问题中已经发展的很成熟了，但是视频比较图像而言增加了一个时间维度的信息。传统的二维卷积核已经无法满足提取三维特征的需要。三维卷积运算速度是优势且能良好的捕捉帧间信息，目前是主流研究方向。但现有方法均存在识别准确率较低、识别速度较慢的问题，极大的限制了人体行为识别检测技术的发展和应用。

发明内容

根据上述提出识别准确率较低、识别速度较慢的技术问题，而提供一种基于快、慢双通道三维卷积神经网络的实时暴力行为检测系统，通过引入双通道思想提高了识别的准确率，同时通过引入反卷积层实现了暴力行为发生的时间的精确定位。

本发明采用的技术手段如下：

一种基于双通道三维卷积神经网络的实时暴力行为检测系统，包括：

视频采集模块，实时抓取视频帧，并分别送至所述视频处理模块及所述播放模块；

视频处理模块，利用卷积神经网络对接收的视频帧进行特征提取，并将提取的特征进行组合，进而根据组合特征对图像数据进行分类；

播放模块，将所述视频处理模块得到的图像分类结果标记到所述视频采集模块发送的视频帧中，向用户进行播放；

所述视频采集模块、视频处理模块及播放模块并行工作。