[发明专利]一种基于记忆增强型自动编码器的视频异常检测方法

说明书

本发明提出了一种基于记忆增强型自动编码器的视频异常检测方法，属于视频异常检测技术领域。在视频样本训练集、记忆库中，随机初始化其中的记忆条目，当一个样本输入编码器后，编码器输出得到嵌入；外部记忆模块中的读取模块计算重构后的嵌入；利用重构后的嵌入作为解码模块的输入，得到重构后的视频帧；设计新的损失函数；对测试样本进行异常打分，得到异常值，当异常值大于阈值时，对应测试样本标注为异常视频。在原有的自动编码器框架中增添了外部记忆模块，将嵌入用记忆中典型正常样本重构后再进行解码，使得重构结果贴近正常样本，从而增大了异常样本的重构误差，解决了泛化能力导致的异常样本重构误差小，异常检测效果差的问题。

技术领域

本发明涉及视频异常检测技术领域，具体涉及一种基于记忆增强型自动编码器的视频异常检测方法。

背景技术

视频异常检测是一种在空间/时间上定位视频中异常发生位置的计算机视觉技术，在监控视频、智慧交通等领域有很大的应用价值，具有广阔的研究前景。由于在实际生产生活中我们通常容易获取正常样本而非异常样本，因此绝大部分视频异常检测任务是一种无监督学习任务。因此研究者们首先提出的思路便是寻找一个能够包裹正常样本隔开异常样本的超平面进行分类，2001年，Yunqiang Chen和Bernhard Scholkopf等人提出了使用一分类SVM分类器的方法进行异常检测；随后，Liang Xiong、Arthur Zimek分别于2011和2012年提出了使用混合高斯模型的方法，但其本质仍是对正常样本进行建模。其后，2018年Bo Zong和Qi Song提出了基于重构进行异常检测的新思路，这种方法假设我们可以通过在正常样本上学习，得到一种可以抽象表征及重构原视频帧的模型。在抽象表征上，研究者们提出了各种不同的技术，例如PCA主成分分析、稀疏表征等。随着神经网络的崛起，基于神经网络架构的自动编码器成为了近年研究的热点之一。

使用自动编码器(Auto-Encoder)重构法是视频异常检测领域新兴的一种方法，现有实施方法的基本思路是利用卷积神经网络作为编码和解码两个模块，以重建损失作为损失函数，并在正常样本训练集上学习得到模型参数。测试时，将输入视频帧进行编码得到原样本的抽象表征(也称嵌入，embedding)，随后根据编码器得到的嵌入在解码模块对图像进行重构。由于模型是基于正常样本训练得出的，因此我们通常认为模型的学习结果较好的贴近正常样本而不是异常样本，经过模型编码-重构的正常样本将得到较好的重构，而异常样本的重构结果与原视频帧有较大误差。

然而，由于神经网络具有一定的泛化能力，因此即使输入的视频帧存在异常，有时训练模型也能将其较好的进行重构。因此，我们需要提出新的方法来弱化神经网络模型的泛化能力。同时，由于正常的多样性，正常样本的分布应当是围绕多中心进行的，我们设计了新的损失函数以鼓励模型多中心分布。

发明内容

针对背景技术中指出的问题，本发明提出一种基于记忆增强型自动编码器的视频异常检测方法。

本发明的技术方案是这样实现的：

一种基于记忆增强型自动编码器的视频异常检测方法，包括以下步骤：

S1.在视频样本训练集记忆库大小N中，随机初始化其中的记忆条目，当一个样本x输入编码器后，编码器输出得到嵌入z；

S2.外部记忆模块中的读取模块计算重构后的嵌入

S3.利用重构后的嵌入作为解码模块的输入，得到重构后的视频帧

S4.设计模型训练多中心分布的损失函数；

S5.采用反向传播与梯度下降进行模型训练，得到最终模型，从而对测试样本进行异常打分，得到异常值，当异常值大于阈值时，对应测试样本标注为异常视频。

根据本发明的一个实施例，通过下述公式得到嵌入z：

其中表示编码器参数。