[发明专利]基于记忆力增强自编码器的行人异常行为检测的方法与系统

权利要求书

1.一种基于记忆力增强自编码器的行人异常行为检测方法，其特征在于，包括以下步骤，如图1所示。

输入训练集中的视频帧；

通过编码器将输入的视频帧映射到特征空间，获取其编码值；

使用编码值作为查询，通过基于注意力的寻址算子检索记忆模块中最相关的项；

将这些最相关的项发送给解码器进行重构；

在上述训练过程中，对编码器和解码器进行不断地优化，使重构误差最小；

更新记忆内容，以记录编码正常数据的原型元素；

最终获得异常行为检测模型；

最后将待测视频输入该检测模型，获得发生异常行为的视频帧。

2.根据权利要求1所述的基于记忆力增强自编码器的行人异常行为检测方法，其特征在于，所述输入训练集中的视频帧，即将avi格式的视频先按帧率截取JPG格式的视频帧数据，然后将其输入编码器。

3.根据权利要求1所述的基于记忆力增强自编码器的行人异常行为检测方法，其特征在于，通过编码器将输入的视频帧映射到特征空间，获取其编码值。用x表示数据样本，表示重建后的样本，z为编码表示，用于检索相关的记忆项，故可表示查询，为潜在表示，由检索到的相关记忆项获得。f_e(·)和f_d(·)分别表示编码器和解码器，θ_e和θ_d分别表示编码器和解码器的参数。编码器和解码器的基本原理可表示为：

z＝f_e(x；θ_e)

4.根据权利要求1所述的基于记忆力增强自编码器的行人异常行为检测方法，其特征在于，使用编码值作为查询，通过基于注意力的寻址算子检索记忆模块中最相关的项。可将编码器看作查询生成器，使用编码表示作为查询，记忆模块通过基于注意力的寻址运算符检索内存中最相关的项。记忆项目设计为N*C的矩阵M，N表示记忆的最大容量，是从1到N的正整数，C为固定维度，方便起见，假设C的维度与查询z的维度相同。行向量m_i表示记忆项目M的第i行并记录一个记忆项目，w_i表示每个行向量m_i对应的注意力权重，记忆模块通过软寻址向量w(1*N)获得潜在表示

尽管为不同的数据集找到最优N并非易事，但幸运的是，通过实验对比发现，Mem-AE对N的设置不敏感。一个足够大的N(例如2000)就可以很好地处理每个数据集。

5.根据权利要求2所述的基于记忆力增强自编码器的行人异常行为检测方法，其特征在于，在Mem-AE中，将记忆项目M设计成可以明确记录数据集中典型的正常模式，并将记忆定义为内容可寻址的记忆，其寻址方案根据记忆项目M和查询z的余弦相似性并通过softmax操作计算每个注意力权重w_i：

其中d(z，m_i)为余弦相似性：

记忆模块检索与z最相似的记忆项，以此得到潜在表示