[发明专利]一种多任务深度网络的异常事件检测方法

说明书

本发明涉及一种多任务深度网络的异常事件检测方法，其特征在于，提出了一种基于联合优化策略的多任务深度神经网络去检测异常事件，首先，使用连续的视频帧作为输入，通过三维卷积网络去学习局部时空上下文特征；其次，构造了一个端到端训练的循环卷积神经网络去学习全局时空上下文特征；利用全局特征，多任务神经网络可以同时计算得到输入视频帧的异常类型和异常分数。实验结果表明，该方法在异常检测公共数据集中的检测结果优于最先进的方法。

技术领域

本发明设计了一种多任务深度网络的异常事件检测方法，属于多媒体技术领域，具体属于数字图像和数字视频处理技术领域。

背景技术

视频异常检测是一项高级别的计算机视觉任务，其目的是有效区分视频序列中的异常和正常活动以及视频序列所属的异常类别，与正常行为相比，很少发生或发生概率较低的事件通常被认为是异常事件。近年来，许多高校以及研究所对异常检测进行了大量的研究，但是在实际工作中很难建立有效的异常检测模型。主要原因由以下两个方面形成：(1)现有的异常视频数据集的视频帧数和异常类别是有限的；并且很多都不是在真实场景下拍摄的，导致很难有效训练异常检测模型；(2)数据集的异常定义不清晰，使得不能准确地对异常视频序列进行标注。

传统的异常检测方法主要从两个方面进行设计。一种异常检测方法针对视频序列中的正常模式，通过重构法去检测异常，这个方法的目标是学习这些正常模式的特征表示模型；在测试阶段，利用异常样本与正常样本之间的特征表示差异来确定测试数据是否属于异常。虽然此方法能够很好的重建出视频序列中训练集出现过的正常部分，但关键问题它是严重依赖于训练数据，测试数据中出现的新的正常也可以被误以为是异常。另一种方法将异常检测视为一个分类问题，这个方法利用训练好的分类器，通过提取光流直方图或动态纹理等特征来预测视频序列的异常分数。为了获得满意的性能，提取有效的判别特征对于此异常检测方法至关重要。

以上介绍的现有异常检测方法在异常检测方面都取得了较好的性能。它们中的大多数都是基于这样一种假设设计的：任何不同于在训练集中学习到的正常模式的模式都被视为异常。但是，同一个活动在不同场景下可能表示为正常或异常事件，这会使检测的难度加大。例如，两个人街头斗殴的场景可能被认为是异常的，但是这两个人在进行拳击运动时则是正常的；在步行街上惊慌奔跑的女孩/男孩可能被认为是异常的，但在下雨的时候因为女孩/男孩忘记带伞而奔跑，这个事件是正常的；动物触摸人类可能被认为是异常的(蛇咬人)，而海豚亲吻人类则是正常的。此外，高维视频数据中存在大量冗余的视觉信息，也增加了视频序列中事件表示的难度。因此，虽然已经有一些关于异常检测的研究，但对于视频序列中的异常检测任务仍然具有挑战性。

发明内容

本发明涉及一种对于视频序列的异常检测方法，其特征在于，提出了一种基于联合优化策略的多任务深度神经网络去检测异常事件，首先，使用连续的视频帧作为输入，通过三维卷积网络去学习局部时空上下文特征；其次，构造了一个端到端训练的循环卷积神经网络去学习全局时空上下文特征；利用全局特征，多任务神经网络可以同时计算得到输入视频帧的异常类型和异常分数。实验结果表明，该方法在异常检测公共数据集中的检测结果优于最先进的方法。

一种多任务深度网络的异常事件检测方法，其特征在于，包括以下几个步骤：

A.首先使用Conv3DNet提取局部上下文时空特征；

B.将得到的局部特征拼接起来，通过循环卷积神经网络提取全局上下文时空特征；

C.采用多任务神经网络同时得到视频序列的异常类别以及异常分数。

进一步地，提取视频序列局部特征的具体步骤是：

首先，将视频序列分割成若干个片段，每个片段包含相同的帧数；然后，将片段里面的视频帧调整成相同的大小，放进训练好的C3D网络中；最后提取其pool5层的特征作为该视频片段的局部特征。

进一步地，提取视频序列全局特征的具体步骤是：