[发明专利]基于重建误差的非特定异常事件检测及定位方法、计算机

说明书

本发明属于计算机视觉和人工智能技术领域，公开了一种基于重建误差的非特定异常事件检测定位方法、计算机，VAE/GAN嵌入two‑streamarchitecture中；视频原始数据输入到一个VAE/GAN中实现空间数据生成，对应的光流场输入到另一个VAE/GAN中实现时间数据生成。本发明视频原始数据输入到一个VAE/GAN中训练一个空间数据生成模型，对应的光流场输入到另一个VAE/GAN中训练一个时间数据生成模型，经过离线训练后，2stream‑VAE/GAN学会了如何生成当前视频场景下的正常数据；在现流行的数据集UCSD Ped1和UCSD Ped2上，达到了0.71和0.89的AUC值。

技术领域

本发明属于计算机视觉和人工智能技术领域，尤其涉及一种基于重建误差的非特定异常事件检测定位方法、计算机。

背景技术

当今社会，威胁社会治安的犯罪活动乃至恐怖袭击事件时有发生。传统的监控系统严重依赖人力资源，视频只能作为事后取证的依据，而不能在异常事件发生之处及时发出警报。除此之外，收集异常事件也有助于相关决策部门有针对性地做出政策的调整。因此，实时异常检测定位以及线下异常检测定位对于公共治安有着重要意义，而这些需求，是目前的依靠人力的监控系统无法满足的。监控视频中的研究非特定异常事件检测以及定位吸引了很多学者的关注，一系列解决方案被提出。

在非特定异常事件检测以及定位任务的训练集中只有正常视频，测试数据集中的视频包含了正常事件以及偏离正常事件的异常事件。为了能在合适的粒度下定位异常事件，通常将视频分成互相不重合的大小为的三维子块，其中，和分别代表三维子块的宽度、长度以及帧数。

实现这个任务的难点在于：首先，我们需要从外观特征和动态特征两方面来分析视频是正常还是异常，对视频特征提取提出了挑战；其次，训练集中只有正常事件，没有异常事件的任何信息，这就为定义“正常”以及离群值检测规则提出了挑战。对于第一个挑战，现流行方法倾向于设计传统的手工特征。由于手工特征只能提取简单的、低级的特征，在本发明中，采用了深度模型来提取高级的、包含更多语义信息的特征。对于第二个挑战，现流行方法可分为两类，一种是基于概率的方法，也就是说检测测试集中不符合由训练集数据的概率分布模型的数据，如“Weixin Li,Vijay Mahadevan,andNunoVasconcelos.2014.Anomaly Detection and Localization in CrowdedScenes.IEEE Trans.Pattern Anal.Mach.Intell.36,1(2014),18–32.”和“VenkateshSaligrama and Zhu Chen.2012.Video anomaly detection based on localstatistical aggregates.In 2012IEEE Conference on Computer Vision and PatternRecognition,Providence,RI,USA,June16-21,2012.2112–2119.”。基于概率的方法将偏离正常模式的数据视为异常数据，这跟异常的定义是一致的，但是直接描述高维数据分布，现有数据是不足的，导致直接描述的数据分布并不准确；另一种是基于模板的方法，即选出训练集数据中的代表性数据，根据测试集数据从这些模板恢复出来的重建误差来判断是否为异常，如“Kai-Wen Cheng,Yie-Tarng Chen,and Wen-Hsien Fang.2015.Video anomalydetection and localization using hierarchical feature representation andGaussian process regression.In IEEE Conference on Computer Vision and PatternRecognition,CVPR 2015,Boston,MA,USA,June 7-12,2015.2909–2917.”，“Yang Cong,Junsong Yuan,and Ji Liu.2011.Sparse reconstruction cost for abnormal eventdetection.In The 24th IEEE Conference on Computer Vision and PatternRecognition,CVPR 2011,Colorado Springs,CO,USA,20-25June 2011.3449–3456.”，“Cewu Lu,Jianping Shi,and JiayaJia.2013.Abnormal Event Detection at 150FPS inMATLAB.In IEEE International Conference on Computer Vision,ICCV 2013,Sydney,Australia,December 1-8,2013.2720–2727.”以及“MehrsanJavanRoshtkhari and MartinD.Levine.2013.Online Dominant andAnomalous Behavior Detection in Videos.In2013IEEE Conference on ComputerVision and Pattern Recognition,Portland,OR,USA,June 23-28,2013.2611–2618.”。这类方法通常通过追求稀疏性来压缩样本集合的大小，以达到降低时间、空间复杂度的目的，这样一个由有限集合的数据张成的空间的表述能力是有限的，也是相对来说刻板的。