[发明专利]一种基于记忆神经网络的视频监控异常检测方法

权利要求书

1.一种基于记忆神经网络的视频监控异常检测方法，其特征在于，包括：获取视频流数据，并对视频流数据进行预处理，得到视频数值信息；从视频数值信息中获取待检测的视频帧段，将待检测的视频帧段输入到编码器中提取视频帧段的特征图；对频帧段特征图做矩阵变换，得到视频帧段的查询信息；将查询信息均等分割为两部分，将分割后的查询信息分别做矩阵变换，得到两组记忆模块的前置检索地址及权重信息；融合两组地址信息，得到最终检索的地址和权重；根据地址从记忆模块检索出存储单元存储的视频帧特征信息，将视频帧特征信息加权拼接为解码特征图；将解码特征图输入到解码器中，输出重构的解码视频帧；对重构的解码视频帧与输入的视频帧信息相减，根据相减的值的高低判断是否异常，得到视频监控异常检测结果。

2.根据权利要求1所述的一种基于记忆神经网络的视频监控异常检测方法，其特征在于，对视频流数据进行预处理的过程包括：从视频监控终端中获取视频流；从视频流中提取所有帧的jpg格式图片，采用numpy工具库将所有帧图片保存为5D的数值矩阵信息，从数值矩阵信息中按第一个维度每12个图片的信息截取为一个帧段，将所有截取的帧段信息进行集合。

3.根据权利要求1所述的一种基于记忆神经网络的视频监控异常检测方法，其特征在于，对频帧段特征图做矩阵变换的过程包括：设置查询信息生成器并对查询信息生成器初始化；将视频帧段的编码特征图输入到查询信息生成器中进行矩阵变换，得到查询信息

4.根据权利要求1所述的一种基于记忆神经网络的视频监控异常检测方法，其特征在于，将分割后的查询信息分别做矩阵变换的过程包括：将两个子查询信息分别通过两个索引生成器进行矩阵转换为两个记忆模块的前置检索地址ind¹和ind²及权重信息

5.根据权利要求1所述的一种基于记忆神经网络的视频监控异常检测方法，其特征在于，融合两组地址信息的过程包括：采用交叉求和的方法对两组地址信息进行融合。

6.根据权利要求1所述的一种基于记忆神经网络的视频监控异常检测方法，其特征在于，根据地址从记忆模块检索出存储单元存储的视频帧特征信息的过程包括：设置记忆模块并初始化记忆模块；记忆模块中的每一行设置有编号，根据融合后的索引编号从记忆模块M中检索出存储的视频特征信息。

7.根据权利要求1所述的一种基于记忆神经网络的视频监控异常检测方法，其特征在于，将视频帧特征信息加权拼接为解码特征图：将检索出的视频特征信息与获得的权重值一一对应并相乘；将相乘后的数据进行指定维度的矩阵拼接，得到解码特征图。

8.根据权利要求1所述的一种基于记忆神经网络的视频监控异常检测方法，其特征在于，将解码特征图输入到解码器中进行解码的过程包括：视频帧段解码器模块初始化，将解码特征图输入到解码器中，经过神经网络的前向传播计算得到输出结果。