[发明专利]异常行为智能识别方法及其装置和存储介质

说明书

一种异常行为智能识别方法，包括先对人群进行一系列异常行为的视频采集；再将截取包含动作的视频，并进行平均分段；分别将获得的空间网络结果和时间网络结果进行加权求和，得到最终的视频分类结果。本发明提供的方法，有效地提升了行为识别算法的计算效率，改进后的双流行为识别算法，计算速度相对于标准双流算法预计提高数十倍。

技术领域

本发明涉及对视频进行处理的技术方案，具体涉及一种异常行为智能识别方法，及其装置和存储介质。

背景技术

基于监控视频的人体行为识别(Human Action Recognition)，也叫人体动作识别，一直以来都备受中外研究者们的热情关注，原因不仅是由于基于视频的人体的行为识别研究在人机交互领域、安全监控方面、医疗诊断方面等具有非常重要的现实意义，而且行为识别的多领域广泛运用更是让它拥有了更多的研究价值，因此国内外众多科研工作者已经开展了大量的研究工作。基于视频的人体行为识别技术，涉及到了包括模式识别、图像处理和人工智能等多个知识领域，其中可能遇到的各种有待解决的问题包括环境变化、光线变化、目标遮挡等更是为视频中人的行为识别研究带来了很大的挑战。

人体行为识别特征提取方法早期有基于人体几何特征的计算方法、运动信息的特征提取方法；随着HOG、SIFT等具有先验知识的多尺度特征提取算法的提出，结合视频序列信息的HOG3D(Histogram of gradients 3D，Proceedings of the 19th British MachineVision Conference.Leeds：BMVA Press，2008.99.1～99.10)等基于时空兴趣点的特征提取方法得到了长足发展。以上方法在特征提取之后通常采用常见的模式识别算法如支持向量机(Support Vector Machine，SVM)等进行分类识别。

近年来随着深度学习(Deep learning)理论的提出，为设计自动特征学习方法奠定了基础，其理论框架应用于行为识别也得到了长足发展。(IEEE Transactions onPattern Analysis and Machine Intelligence，2013，35，221～231)由于深度神经网络可以自发从数据中学习到特征，而这种学习方式也符合人类感知世界的机理，因此当训练样本足够多的时候通过深度网络学习到的特征往往具有一定的语义特征，并且更适合目标和行为的识别。基于深度学习的行为识别算法可以分为四个体系：基于3D卷积神经网络的行为识别(自动化学报，2016，848～857)、基于自编码(Auto Encoder)的无监督行为识别、基于限制玻尔兹曼机(Restricted Boltzmann machine，RBM)的行为识别、基于递归神经网络(Recurrent neural network，RNN)的行为识别。基于卷积神经网络的方法一开始就获得了人们的注意，推广至行为识别的3DCNN取得了不错的效果。

双流CNN(neural information processing systems，2014，568～576)通过效仿人体视觉过程，对视频信息理解，在处理视频图像中的环境空间信息的基础上，对视频帧序列中的时序信息进行理解，为了更好地对这些信息进行理解，双流卷积神经网络将行为分类任务分为两个不同的部分。单独的视频单帧作为表述空间信息的载体，其中包含环境、视频中的物体等空间信息，称为空间信息网络；另外，光流信息作为时序信息的载体输入到另外一个卷积神经网络中，用来理解动作的动态特征，称为时间信息网络，为了获得比较好的行为分类效果，我们选用卷积神经网络对获得的数据样本进行特征提取和分类，我们将得到的单帧彩色图像与单帧光流图像以及叠加后的光流图像作为网络输入，分别对图像进行分类后，再对不同模型得到的结果进行融合。

诸如双流CNN之类的行为识别算法依赖于传统光流法给CNN提前计算动作信息，这样的方法需要高额的计算、储存空间，存在行为识别准确度较高却无法兼顾计算实时性的问题。

发明内容

本发明的一个目的在于提供一种异常行为智能识别方法，提高动作识别的准确度。