[发明专利]一种多模态两阶段无监督视频异常检测方法

说明书

本发明公开了一种多模态两阶段无监督异常视频检测方法。该方法充分利用了视频光流信息和记忆网络模块，实现了端到端无监督视频异常检测方法。其中，两阶段是指先使用多尺度记忆增强自编码器网络模块分别的输入视频的图像序列和光流序列进行重建，再使用重建后的图像序列和光流序列，以及光流的记忆网络特征信息输入光流特征融合自编码器网络模块，输出预测的视频图像，根据预测图像与真实图像的误差，重建光流和真实光流的误差来检测视频异常。该方法解决了目前针对视频异常检测的深度自编码器方法常见的漏检率高，鲁棒性不足等问题。

技术领域

本发明涉及机器视觉领域，尤其涉及一种多模态两阶段无监督视频异常检测方法。

背景技术

在现代视频监控系统中，视频异常活动的检测可以分为实时判断和发生异常事件之后的录像查询。实时判断主要依靠监控人员在控制室实时操作多路摄像头，全天候值守。这对监控人员的注意力有很高的要求，并且长期对屏幕进行观察对人体视觉系统损伤严重。发生异常事件后的录像查询需要人工检索存储的视频录像，耗时冗长，往往无法及时获取到异常事件片段。

针对这些弊端，基于计算机视觉技术的智能监控系统越来越受到人们关注，特别是近些年深度学习技术高速发展，基于深度学习的计算机视觉算法层出不穷，但视频异常检测任务本身极具挑战性，有如下难点：首先，异常事件的定义会根据场景环境的不同而改变，例如在人行道上驾驶机动车和在机动车道上驾驶机动车。其次，异常行为数据的获取非常困难，深度学习算法的效果往往依赖大量标注数据，异常行为如偷窃，伤人，纵火等视频资料较少，所以视频异常检测往往采用无监督或弱监督方法，仅通过正常监控视频训练模型，在训练过程中，模型学习如何更好的表征正常监控视频数据，而在测试和实际应用场景中，对于无法正常表征的视频数据，模型判断为异常事件。

早期的无监督方法主要采用人工设计特征与概率图模型。2009年Jaechul Kim和Kristen Grauman使用时空马尔可夫随机场来建模视频不同时空区域之间的关系并使用贝叶斯推断方法检测视频异常(A space-time MRF for detecting abnormal activitieswith incremental updates)。Yang Cong在2011年首先引入了稀疏编码算法对视频进行异常检测(Sparse reconstruction cost for abnormal event detection)。Habib Ullah则在2014年通过提取角要素特征(corner features)并训练随机森林模型用于判断正常或异常视频帧(Dominant motion analysis in regular and irregular crowd scenes)。

得益于深度学习技术的发展，通过深度网络与大规模数据集，模型可以更好地学习如何表征正常视频数据。Mahmudul Hasan在2016年首先提出了全连接神经网络结构的深度自编码器(deep Autoencoder)。通过仅含正常视频数据集的训练，自编码器能够较好重建正常视频输入图像，而对于异常视频的输入图像则会产生较大的重建误差，根据重建误差检测异常事件。在此之后，不同的研究人员设计了各种基于深度自编码器结构的视频异常检测算法。2017年，Weixin Luo为了更好建模视频的时序信息，构建了结合卷积长短期记忆人工神经网络(Convolution Long Short-Term Memory)与全连接神经网络的深度自编码器。同年，Yiru Zhao提出使用时空自编码器用于检测视频异常，利用3D卷积网络更好地学习正常视频的特征表达(Spatio-temporal autoencoder for video anomalydetection)。也有学者结合了传统机器学习与深度学习，Ramin Mehran探索了稀疏编码算法与循环神经网络(Recurrent Neural Network)相结合，将视频的连续时序信息进行稀疏编码并通过循环神经网络进行学习。