[发明专利]一种基于新型记忆网络的视频异常检测方法

说明书

本发明公开了一种基于新型记忆网络的视频异常检测方法，基于以按时间顺序排列的视频样本帧，构建视频异常帧检测模型，然后应用视频异常帧检测模型，完成视频样本帧正常或异常检测，视频异常帧检测模型包括用于提取视频样本帧特征图的初步特征提取网络，用于对特征图所组建的特征图组进行深度特征提取的深度特征提取分类网络，基于深度特征提取分类网络输出所对应的标签中的分量，以及分类损失模型，构建判定视频样本帧序列中每一帧视频样本帧正常或异常的异常分数，该方法可更好地提取视频样本帧中的特征信息，提高视频异常帧检测模型的适应能力。

技术领域

本发明涉及视频异常检测方法，具体涉及一种基于新型记忆网络的视频异常检测方法。

背景技术

视频异常检测一直是计算机视觉领域的热门方向，与视频分析研究有着很密切的联系。异常视频检测任务旨在分析视频、理解视频并捕捉视频中与期望行为不同的异常事件，在智能安防、智能交通和故障纠错系统等领域中有很大的应用价值和发展前景。

与传统二分类任务不同，异常检测任务有其特殊性。异常发生的概率较小，收集平衡的正常数据和异常数据几乎不可行。其次，异常种类繁多且异常是无界的，很难在规模巨大的视频数据中对各类异常打标签。因此，异常检测是一个具有挑战的任务。

随着深度学习算法近年在计算机视觉领域取得的极大成功，基于深度神经网络的算法逐渐应用到视频异常检测任务中。共衍生出两类方法，分别是基于当前帧重建的异常检测方法和未来帧预测的异常检测方法。基于重建当前帧的方法基于异常帧重建误差大的思想来区分异常帧和正常帧。而基于未来帧预测的方法则是基于异常难以预测的思想来决策未来帧的正常与否。虽然这两种不同的异常检测的方法取得了一些效果，但是其利用代理任务实现异常检测的思想却是有本质缺陷。即不管是重建方法还是预测的方法，其本质是输出一个与真实帧尽可能相似的图像。当网络训练的非常好时，受到其思想缺陷的影响这两类方法对正常帧和异常帧的区分度并不一定高，在一些特殊的场景下，效果较低。

发明内容

本发明的目的：在于提供一种基于新型记忆网络的视频异常检测方法，基于初步特征提取网络、深度特征提取分类网络，构建视频异常帧检测模型，然后应用视频异常帧检测模型，完成视频样本帧正常或异常检测。

为实现以上功能，本发明设计一种基于新型记忆网络的视频异常检测方法，按如下步骤S1-步骤S6，获得视频异常帧检测模型，然后应用视频异常帧检测模型，完成视频样本帧正常或异常检测；

S1.获得以按时间顺序排列的视频样本帧，以每一帧视频样本帧为起点，按时序选择k帧视频样本帧构建视频样本帧组，并获取预定义的表示视频样本帧组正常状态或异常状态的标签；

S2.基于卷积神经网络，以视频样本帧为输入，以与视频样本帧所对应的特征图为输出，构建初步特征提取网络；

S3.基于初步特征提取网络实时输出特征图的模式，以初步特征提取网络实时输出的特征图为起点、向历史时间方向的k帧特征图所构成的特征图组为输入，以该特征图组所对应视频样本帧组的标签为输出，基于三层全连接层的神经网络，构建深度特征提取分类网络，其中k大于1；

S4.基于初步特征提取网络、深度特征提取分类网络构建视频异常帧检测待训练模型，同时基于各视频样本帧的参与训练，以初步特征提取网络至深度特征提取分类网络的应用，通过引入交叉熵损失，构建分类损失模型；

S5.基于视频样本帧所构建的视频样本帧组，以及各视频样本帧组分别所对应的标签，以视频样本帧为输入，以视频样本帧组分别所对应的标签为输出，结合分类损失模型，针对视频异常帧检测待训练模型进行训练，获得视频异常帧检测模型；

S6.针对每个视频样本帧组中的每一帧视频样本帧，构建判定视频样本帧组中每一帧视频样本帧正常或异常的异常分数，将异常分数大于预设值的视频样本帧判定为异常视频帧，否则为正常视频帧。