[发明专利]一种基于ST-Unet的视频异常检测方法

权利要求书

1.基于ST-Unet的视频异常检测方法，其特征在于，包括以下步骤：

（1）、预处理

将长视频数据切分成单独的视频帧，对切分得到的视频帧图像进行随机的损坏处理，即利用Dropout层随机将图像中的某些值置零；

（2）、构建ST-Unet网络

具体网络搭建步骤如下：

输入层，C1、C2两层卷积层，P1第一次下采样，C3、C4两层卷积层，P2第二次下采样，C5、C6两层卷积层，P3第三次下采样；L1、L2、L3 三层ConvLSTM层；U1第一次上采样，C7、C8两层卷积层，U2第二次上采样，C9、C10两层卷积层，U3第三次上采样，C11、C12两层卷积层，输出层；形成一个前后对称的且加有长短时记忆的U型深度网络构架，ST-Unet；

（3）、利用ST-Unet网络实现基于重构和预测的视频异常检测算法

将预处理后的连续四帧视频帧输入到ST-Unet网络中，分别训练得到重构图像和预测图像；通过最小化输入的视频帧图像与重构图像、预测未来帧图像与真正未来帧图像之间的差值来进行网络优化；并利用对抗模型，将重构图像、预测未来帧图像与对应的ground-truth 同时输入到判别模型中，训练最终目的是使得判别模型无法辨别输入的是重构或预测生成的图像还是原ground-truth；

测试过程：

将测试集中的原始长视频切分成单帧视频帧，然后直接输入到训练好的ST-Unet网络中，分别得到重构图像、预测图像；通过比较输入图像与重构图像得到重构误差；通过比较输入图像与预测图像得到预测误差；对得到的重构误差和预测误差进行加权处理，得到最终的异常分数；通过比较异常分数与所设阈值之间的差异，来判定输入的视频帧是否属于异常。

2.根据权利要求1所述的方法，其特征在于：对得到的重构误差和预测误差进行加权处理，预测异常分数和重构异常分数的加权值均设为 0.5；阈值取0.679。