[发明专利]一种基于弱监督学习的视频异常事件检测系统及其方法

说明书

本发明公布了一种基于弱监督学习的视频异常事件检测系统及其方法，该方法基于深度学习框架，把弱监督视频异常事件检测问题表述成一个多实例学习模型；对于一个视频序列，将其划分为多个行为实例，对每个行为实例采用深度网络模型提取多层次外形‑运动联合表述特征，同时构建正常/异常行为分类器对行为实例进行打分，从而实现给定视频中异常事件检测任务。本发明的方法，只需要弱标注的样本即可进行模型构建，从而节省了大量的人力劳动和时间成本，对于日常生活中常见的异常事件有较高的检测精度。在目前公布的测试数据集上，取得了领先的检测水平。

技术领域

本发明涉及视频行为分析技术领域，具体涉及到一种基于弱监督学习的视频异常事件检测系统及其方法，该方法采用深度学习框架，设计一种弱监督学习策略来训练视频行为正常\异常分类器，在此基础上完成视频行为异常事件检测。

背景技术

视频行为异常事件检测是计算机视觉领域长期以来的一个研究热点。随着我国城市中高清监控摄像头的越来越普及，随之产生的海量的监控视频给视频操作人员带来了繁重的工作负担。同时现有的视频行为检测技术不能及时地发现正在发生的异常事件(例如：暴恐犯罪事件)，进而提醒工作人员阻止事态的进一步发展，把可能的损失最小化。当前视频行为异常事件检测方法主要基于以下假设：与经常出现的行为模式不同的模式即为异常行为模式。从这个假设出发，现有的方法通常由正常行为数据来构建正常行为模型，用此模型对视频中出现的模式进行打分，得分低的模式被检测为异常行为模式。由于日常生活中正常行为事件的模式多种多样，再加上视频拍摄场景和拍摄角度不同带来的行为表现形式上的变化，使得很难对所有的正常行为构建统一的模型。另外，在现实的生活中，人们对异常行为模式总是有一定的先验，比如：打架、抢劫等事件总是被视为异常事件，而不需要预先和正常事件进行比较再做判断。本发明提出的方法直接从现实中海量的监控视频出发，通过少量的标注(只标注视频是否含有异常事件而不需要给出异常事件的起止时间点)来构建正常/异常事件分类器，从而实现对测试视频中含有的异常事件进行检测和定位。

发明内容

本发明的目的是提供一种基于弱监督学习的视频异常事件检测系统。

本发明的另一目的是提供一种基于弱监督学习的视频异常事件检测方法，通过在海量弱标注视频数据集上(只标注视频是否含有异常事件而没有指出异常事件起止的时间位置)应用弱监督学习方法来构造正常/异常事件分类器，从而实现对于给定的待测视频，自动完成判定其中是否含有异常事件和定位异常事件发生的时间轴位置。

本发明提出的方法与现有的方法相比有两点主要的改进：1.)本发明的方法是基于弱监督学习框架，相比于传统的基于强监督学习的方法，此方法只需要对数据集进行若标注即可(只标注视频是否含有异常事件)，从未节省了大量的人工标注成本和劳动时间；2.)本发明提出的模型是基于正常/异常两类样本来构建的，相比于目前只关注于正常样本的模型构建方法，引入了对异常事件的先验信息，从而使模型对于日常常见的异常事件具有更加准确地判定。

本发明的原理是：1.)把弱监督视频异常事件检测问题表述成一个多实例学习模型。每个实例对应于视频序列中的一个视频片段，多个实例构成一个实例包，对应于一个视频序列。多实例学习的任务即是建立实例包中多个实例间的偏序关系；2.)通过加入实例得分平滑性约束来确保同一个视频序列中相邻的视频片段得分是平滑地连续变化的，符合行为事件发展变化连续性原理，而加入实例得分稀疏性约束来确保只有少量的实例取得较大的得分值，符合异常事件是少量的、偶发的性质。

本发明提供的技术方案如下：

一种基于弱监督学习的视频异常事件检测系统，其特征在于，包括视频片段层次结构深度特征提取模块、行为实例包弱监督学习模块以及行为实例异常得分损失函数约束模块；其中：

所述的视频片段层次结构深度特征提取模块，用于对指定长度的视频片段也即行为实例，提取多个层次的RGB图像-光流图像联合表述特征；