[发明专利]一种基于ST-Unet的视频异常检测方法

摘要

基于ST‑Unet网络的视频异常检测方法，涉及计算机视觉以及模式识别领域。本发明针对视频这类具有强时空相关性数据的处理问题提出新的ST‑Unet网络，该网络即利用了Unet网络在空间特征上良好的建模能力又结合了ConvLSTM在时间上的建模能力。为提高算法的准确性及其泛华能力，本发明在算法训练过中对输入的视频数据利用Dropout层进行“损坏”预处理。通过“损坏”的训练数据训练得到的网络不仅可以对完好的测试数据有较好的异常检测效果，对测试过程含噪的数据亦可检测出是否异常。本发明将重构算法结果与预测算法结果进行联合判别，实现了高精度的基于ST‑Unet网络的视频异常检测算法。

主权项

1.基于ST‑Unet的视频异常检测算法，其特征在于，包括以下步骤：(1)、预处理将长视频数据切分成单独的视频帧，对切分得到的视频帧图像进行随机的损坏处理，即利用Dropout层随机将图像中的某些值置零；(2)、构建ST‑Unet网络具体网络搭建步骤如下：输入层，C1、C2两层卷积层，P1第一次下采样，C3、C4两层卷积层，P2第二次下采样，C5、C6两层卷积层，P3第三次下采样；L1、L2、L3三层ConvLSTM层；U1第一次上采样，C6、C7两层卷积层，U2第二次上采样，C8、C9两层卷积层，U3第三次上采样，C10、C11两层卷积层，输出层；形成一个前后对称的且加有长短时记忆的U型深度网络构架，ST‑Unet；(3)、利用ST‑Unet网络实现基于重构和预测的视频异常检测算法将预处理后的连续四帧视频帧输入到ST‑Unet网络中，分别训练得到重构图像和预测图像；通过最小化输入的视频帧图像与重构图像、预测未来帧图像与真正未来帧图像之间的差值来进行网络优化；并利用对抗模型，将重构图像、预测未来帧图像与对应的ground‑truth同时输入到判别模型中，训练最终目的是使得判别模型无法辨别输入的是重构或预测生成的图像还是原ground‑truth；测试过程：将测试集中的原始长视频切分成单帧视频帧，然后直接输入到训练好的ST‑Unet网络中，分别得到重构图像、预测图像；通过比较输入图像与重构图像得到重构误差；通过比较输入图像与预测图像得到预测误差；对得到的重构误差和预测误差进行加权处理，得到最终的异常分数；通过比较异常分数与所设阈值之间的差异，来判定输入的视频帧是否属于异常。