[发明专利]一种融合多元信息的高精度视频异常事件检测方法

说明书

本发明公开了一种融合多元信息的高精度视频异常事件检测方法，实时检测与识别危害或可能危害公共安全的、与人相关的异常事件。针对深度学习算法在人群异常事件检测中的不足，尤其针对复杂场景，本发明提出了一种基于运动信息与光谱信息融合的深度学习网络的视频异常事件检测方法，力图提高异常事件检测在复杂场景中的准确率。视频特征主要包括视频帧的亮度信息和视频中目标的运动信息，通过构建空间特征自编码器和运动特征自编码器，分别进行视频空间特征和运动信息的提取，以及视频序列的重建，对于重建误差大于阈值的视频序列帧标记为异常事件。这种有效融合视频运动信息和光谱亮度信息的方法，较好的提高人群异常事件检测的鲁棒性与实用性。

技术领域

本发明涉及视频内容分析技术，尤其涉及一种融合多元信息的高精度视频异常事件检测方法。

背景技术

视频中的异常事件检测是指识别不符合预期行为的事件。在视频监控应用中是一项非常重要的任务，直接关乎人民群众安全、城市管理、社会稳定。因为异常事件在实际应用中是随时发生的、无法预知的，收集各种异常事件并用分类方法解决问题几乎是不可行的，因此视频人群异常事件检测是视频内容分析中最具挑战性的任务之一。相对于动作识别而言，视频中人群异常行为的定义覆盖极其的广泛，其定义至今都非常模糊。导致目前异常事件检测的处理机制，处理精度与效率都不够理想。

在传统方法中，大多通过手工设计的特征方法来检测异常事件，设计的特征用以代表每个视频，包括视频序列的特征信息和运动信息，并通过重建最小误差的方式去学习字典。对应的异常事件的特征将会具有较大的重建误差。但由于字典没有经过异常事件的训练而且通常过于完整，无法保证期望。

基于深度学习的方法，通常使用自动编码器方式学习深度神经网络，并以重建具有小的重构错误的正常事件为优化目标对神经网络进行优化。但深度神经网络的容量很高，异常事件的重建错误不一定会发生。

发明内容

本发明的目的是针对视频中异常事件检测的方法，提出了一种融合多元信息的高精度视频异常事件检测方法。

为了上述目的，本发明使用目前流行的以卷积神经网络为基础的深度学习方法，对于视频中的异常行为，通常至少在亮度信息上或者运动信息上与正常行为存在差异，例如在人行道上行驶的车辆与行人显然存在着较大的不一致，通过融合目标的运动信息和光谱亮度信息，提高异常事件的检测精度，包括如下步骤：

步骤1：通过无异常事件视频得到多帧视频图像，多帧视频图像通过分组得到多组视频图像数据集，根据多组视频图像数据集构建视频图像训练集，将多帧视频图像通过光流提方法得到多帧光流图像，将多帧光流图像通过分组得到多组光流图像数据集，根据多组光流图像数据集构建光流图像训练集；

步骤2：构建视频光流深度学习网络；

步骤3：随机选择视频图像样本中视频图像数据集以及对应的光流图像样本中光流图像数据集，构建视频光流误差损失模型，视频光流误差损失模型输出最小为优化目标，优化训练视频光流深度学习网络，得到训练后视频光流深度学习网络；

步骤4：将待检测视频图像通过训练后视频光流深度学习网络，通过视频光流误差计算得到待检测视频图像的误差，进一步通过与误差阈值比较从而判断视频图像是否存在异常事件；

作为优选，步骤1所述多帧视频图像为：

I_i，1，I_i，2，...，I_i，N

i∈[1，M]

其中，M为无异常事件视频的数量，N为无异常事件视频中视频图像的帧的数量，I_i，j为第i个无异常事件视频中第j帧图像，j∈[1,N]；

I_i，j具体定义为第i个无异常事件视频中第j帧图像：