[发明专利]异常行为检测与定位方法、系统、终端设备及可读存储介质

权利要求书

1.一种异常行为检测与定位方法，其特征在于，包括以下步骤：

(1)获取原始的待测样本视频帧的光流运动信息特征；

(2)将获取的待测样本视频帧的光流运动信息特征输入预训练好的双流记忆增强网络模型，通过双流记忆增强网络模型获得重构的待测样本视频帧以及预测的待测样本视频帧的光流运动信息特征；

(3)根据原始的待测样本视频帧与步骤(2)重构的待测样本视频帧，以及步骤(1)获取的待测样本视频帧的光流运动信息特征与步骤(2)预测的待测样本视频帧的光流运动信息特征，计算像素级的差异，获得待测样本视频帧的误差图和待测样本视频帧的光流运动信息特征的误差图；

(4)基于步骤(3)获得的误差图确定异常行为并获得异常行为的定位图；

其中，所述双流记忆增强网络模型包括：

编码器模块，用于获取输入视频帧的编码特征；

记忆网络模块，用于基于自身存储的正常行为特征以及编码器模块获取的编码特征，获得重新整合的编码特征；

外观信息解码器模块，用于基于所述重新整合的编码特征获得重构的视频帧；

运动信息解码器模块，用于基于所述重新整合的编码特征获得预测的视频帧的光流运动信息特征；

其中，步骤(2)中，所述预训练好的双流记忆增强网络模型的获取步骤包括：

使用编码器模块获取的编码特征与记忆网络模块重新整合的编码特征、外观信息解码器模块重构的训练样本视频帧与双流记忆增强网络模型输入的训练样本视频帧以及运动信息解码器模块预测的训练样本视频帧的光流运动信息特征与双流记忆增强网络模型输入的训练样本视频帧的光流运动信息特征构建损失函数；

采用构建的损失函数对双流记忆增强网络模型进行迭代优化；达到预定的迭代次数或收敛条件后，获得训练好的双流记忆增强网络模型；

所述损失函数包括：外观特征重构损失、运动特征重构损失、特征空间稀疏权重损失以及特征空间重新整合损失；

所述外观特征重构损失采用L₂损失；

所述运动特征重构损失采用L₁损失；

所述特征空间稀疏权重损失利用降低特征重建信息熵的思想；

所述特征空间重新整合损失函数获得的具体步骤包括：将获取的编码特征与重新整合的编码特征进行相似度的计算；将计算获得相似度减去一个预设Margin值，同时对计算获得的相似度为负值的进行抑制，获得基于Margin的特征空间重新整合损失函数；

所述特征空间重新整合损失函数的表达式为：

式中，特征相似度计算函数；Z为编码特征；为重新整合的编码特征；Margin为阈值超参数；

式中，X，Y为待计算相似度的两个特征向量。

2.根据权利要求1所述的一种异常行为检测与定位方法，其特征在于，步骤(1)具体包括：

将原始的待测样本视频帧的集合进行分组，获得分组后的视频帧对；其中，分组方式为将相邻两帧进行组合；

将分组后的视频帧对作为光流提取网络的输入，获取原始的待测样本视频帧的光流运动信息特征。

3.根据权利要求1所述的一种异常行为检测与定位方法，其特征在于，所述双流记忆增强网络模型输入的训练样本视频帧的光流运动信息特征中，所述训练样本视频帧的光流运动信息特征的获取步骤包括：

将训练样本视频帧的集合进行分组，获得分组后的视频帧对；其中，分组方式为将相邻两帧进行组合；

将分组后的视频帧对作为光流提取网络的输入，获取训练样本视频帧的光流运动信息特征。

4.根据权利要求1所述的一种异常行为检测与定位方法，其特征在于，步骤(4)具体包括：

基于获得的待测样本视频帧的误差图和待测样本视频帧的光流运动信息特征的误差图，在各自的误差图上进行基于分块的步长卷积操作，获得各分块的平均误差分数；对各分块的平均误差分数进行排序，选择最高响应的分块作为待测样本视频帧的异常分数；

若待测样本视频帧的异常分数超出预定判别阈值，则将该待测样本视频帧标记为异常帧；

将标记为异常帧中的各个响应分块进行排序，将高于预定阈值的分块的响应分数置1，作为异常行为的定位候选区域，低于预定阈值的分块响应分数置0，获得异常行为的定位图。