[发明专利]一种多模态两阶段无监督视频异常检测方法

权利要求书

1.一种多模态两阶段无监督视频异常检测方法，其特征在于：

(S1)光流分支网络包括编码器模块、多尺度记忆网络模块以及解码器模块；所述编码器模块对输入的光流序列进行特征融合得到多尺度特征图；多尺度记忆网络模块分别对所述编码器模块输出的各尺度特征图分别进行重组；所述解码器模块通过重组后的各尺度特征度特征图重建光流序列并得到光流分支网络输出的多尺度特征图；

(S2)图像分支网络包括编码器模块、多尺度记忆网络模块以及解码器模块；所述编码器模块对输入的图像序列进行特征融合得到多尺度特征图；多尺度记忆网络模块分别对所述编码器模块输出的各尺度特征图分别进行重组；所述解码器模块通过重组后的各尺度特征度特征图重建图像序列；

(S3)光流特征融合自编码器网络包括编码器模块以及光流特征融合解码器模块；所述编码器模块将重建的光流序列以及图像序列进行并联，并进行特征融合得到特征张量；光流特征融合解码器模块对特征张量以及光流分支网络输出的多尺度特征图采用通道融合注意力机制进行逐级融合，以得到预测图像。

2.根据权利要求1所述的一种多模态两阶段无监督视频异常检测方法，其特征在于：所述光流分支网络以及所述图像分支网络的多尺度记忆网络模块均包括多个记忆网络模块，所述记忆网络模块中包括多个记忆网络向量，所述记忆网络模块对输入的特征图进行重组过程中，对输入的特征图的通道维度向量采用记忆网络向量进行表示。

3.根据权利要求2所述的一种多模态两阶段无监督视频异常检测方法，其特征在于：对某个通道维度向量进行重新表示的过程包括以下步骤：

分别求取通道维度向量与各记忆网络向量的余弦距离；

将记忆网络向量对应的余弦距离采用softmax函数进行归一化得到权值矩阵；

按照权值矩阵中的权值对各记忆网络向量进行加权，得到重新表示的通道维度向量。

4.根据权利要求3所述的一种多模态两阶段无监督视频异常检测方法，其特征在于：

构建光流分支网络的过程中，将正常光流序列输入构建光流分支网络得到重建光流序列；并以所述权值矩阵的交叉熵损失与输入光流序列和重建光流序列的均方误差加权和为目标函数对光流分支网络进行优化；

构建图像分支网络的过程中，将正常图像序列输入构建图像分支网络得到重建图像序列；并以所述权值矩阵的交叉熵损失与输入图像序列和重建图像序列的均方误差加权和为目标函数对图像分支网络进行优化。

5.根据权利要求1所述的一种多模态两阶段无监督视频异常检测方法，其特征在于：所述光流分支网络、所述图像分支网络以及所述光流特征融合自编码器网络中的编码器模块均通过卷积下采样网络进行特征融合。

6.根据权利要求1所述的一种多模态两阶段无监督视频异常检测方法，其特征在于：所述光流分支网络以及所述图像分支网络中的解码器模块均通过反卷积上采样网络进行序列重建；反卷积上采样网络包括多个级联的反卷积上采样层；其中，第一层反卷积上采样层采用重组后的通道数最大的特征图作为输入，其他反卷积上采样层将上一层反卷积上采样层的输出以及同维度的重组后特征图进行并联作为输入。

7.根据权利要求1所述的一种多模态两阶段无监督视频异常检测方法，其特征在于：光流特征融合解码器模块包括多个级联的特征融合模块；第一级特征融合模块将所述光流特征融合自编码器网络的编码器模块所输出的特征张量以及所述光流分支网络输出的相同维度特征图进行并联作为输入张量；其他级特征融合模块将上一级所述特征融合模块的输出张量以及所述光流分支网络输出的相同维度特征图进行并联作为输入张量；

在每一个所述特征融合模块中，对输入张量C和其转置张量C^T进行点积得到格拉姆矩阵D，再由格拉姆矩阵D通过softmax运算生成权值矩阵E，权值矩阵E与输入张量C进行点积运算得到张量F，向量F与输入张量C进行并联操作，得到特征融合后的图像特征张量；对图像特征张量进行通过反卷积层进行上采样得到该特征融合模块的输出张量；

最后一级所述特征融合模块的输出张量为预测图像。

8.根据权利要求1所述的一种多模态两阶段无监督视频异常检测方法，其特征在于：根据重建光流序列得到光流序列质量，根据预测图像得到预测图像质量，联合重建光流序列质量和预测图像质量两个指标判断视频异常。