[发明专利]基于记忆力增强自编码器的行人异常行为检测的方法与系统

说明书

本发明公开了一种基于记忆力增强自编码器的行人异常行为检测方法及系统，其中，该方法包括以下步骤：首先利用训练视频生成检测模型，然后将待测视频输入模型，检测出异常视频帧，具体包括，输入训练集中的视频帧；通过编码器将输入的视频帧映射到特征空间，获取其编码值；使用编码值作为查询，通过基于注意力的寻址算子检索记忆模块中最相关的项；将这些最相关的项发送给解码器进行重构；在上述训练过程中，对编码器和解码器进行不断地优化，使重构误差最小；更新记忆内容，以记录编码正常数据的原型元素；最终获得异常行为检测模型。最后将待测视频输入该检测模型，获得发生异常行为的视频帧。该方法不仅提升了传统行人异常行为检测方法的准确率，同时提高了检测速度。由于所提出的记忆模块是通用的，并且与编码器和解码器的结构无关，因此可以将其集成到更复杂的基础模型中，应用于各种现实生活场景中，更好地满足视频检测准确快速的需求。

技术领域

本发明涉及人工智能与计算机视觉技术领域，特别涉及一种基于记忆力增强自编码器(Memory-augmented autoencoder,MemoryAE)行人异常行为检测的方法及系统。

背景技术

作为一种高级计算机视觉任务，视频异常检测指的是自动检测给定视频序列中的异常事件，能够有效区分视频序列中的异常和正常活动以及异常类别。在过去的几年中，研究者开展了许多异常检测相关的研究。与正常事件相比，很少发生或发生概率低的事件通常被认为是异常。但在实际中，由于未知的事件类型和异常的定义不明确，很难建立有效的异常检测模型。大多数现有的异常检测方法都是基于这样一个假设，即任何与学习到的正常模式不同的模式都被视为异常。在这个假设下，不同场景中的相同活动可能被表示为正常或异常事件。例如，两个人在街头打架的打斗场景可能被认为是异常的，而这两个人在进行拳击运动时则是正常的。此外，高维视频数据中存在大量冗余的视觉信息，这增加了视频序列中事件表示的难度。

异常检测方法往往是可以分为两种类型。一种异常检测方法是通过重建误差设计的，它专注于对视频序列中的正常模式进行建模。这种方法的目标是在训练阶段学习正常模式的特征表示模型在测试阶段时利用异常样本和正常样本之间的差异来确定测试数据的最终异常分数，例如重建成本或特定阈值。尽管基于重建的异常检测方法关系，这对于许多现实世界设置中复杂、高度非线性的关系是不够的。

近十年前，基于深度学习的方法被应用于视频检测领域，并取得了较大进展。例如，自编码器使用重建误差来检测异常，并且一系列方法在此基础上进行了改进。此外，生成对抗网络(Generative Adversarial Networks,GAN)和长短时记忆网络(Long Short-Term Memory,LSTM)也被应用于解决异常检测问题。然而，自编码器可能泛化能力较强，导致能够重构异常事件。由于没有异常训练样本，异常样本的重构是不可预测的，这可能会导致异常样本获得更大的重构误差。如果某些异常与正常训练数据共享共同的组成模式(例如图像中的局部边缘)，或者解码器“太强”无法很好地解码某些异常编码，那么自编码器能够很好地重建异常。

为了克服自编码器的不足，本文中采用记忆力模块来对深度自动编码器进行增强，引入一种记忆力增强自编码(Memory-augmented autoencoder,Mem-AE)方法。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于记忆力增强自编码器的行人异常行为检测方法，该方法可以有效提升行人异常行为检测的准确率和快速性。

本发明的一个目的在于提出一种基于记忆力增强自编码器的行人异常行为检测系统。