[发明专利]基于序列时空立方体特征的视频交互事件分析方法及装置

说明书

技术领域

本发明属于计算机视觉技术领域，涉及监控视频交互事件分析方法，具体涉及一种基于序列时空立方体特征的监控视频交互事件分析方法，以及实现该方法的装置。

背景技术

随着监控摄像头广泛的应用于人们生活的方方面面，监控视频数据呈现爆炸式的增长，如何智能地分析其中发生的感兴趣的事件，是一个富有挑战性的问题。在感兴趣的事件当中，有一部分是多对象交互事件，例如：打架、抢劫、凶杀和撞车等。为了能够在事件发生的早期报警，以及在事件发生之后协助侦查取证，针对这类事件的智能分析方法十分关键。

目前对这类事件的处理主要依赖目击者报警，然后调取相应时间段的监控视频来调查取证。但往往有些事件没有目击者，或者目击者不能及时报案，这就会导致对事件处理的延误。另外在取证阶段，如果不知道事件发生的确切时间或地点，就需要耗费大量的人力来查看监控视频数据。

现有的大部分智能监控系统均是采用运动目标检测及速度估计的方式，来分析对象发生的事件，例如中国专利CN201020660336.8公开的监控系统。这种分析方法缺乏针对对象局部运动特点的描述，不能够通过分析复杂事件的各个阶段前后因果关系，来判断复杂事件具体是什么类型。

发明内容

针对现有技术的局限性，本发明提出了一种基于序列时空立方体特征的监控视频交互事件分析方法及装置，可以对对象局部运动特点进行描述，通过分析复杂事件的各个阶段前后因果关系判断复杂事件的具体类型。

为实现上述目的，本发明采用如下技术方案：

一种基于序列时空立方体特征的视频交互事件分析方法，其步骤包括：

1）基于监控视频的检测跟踪结果将该监控视频划分成若干时空立方体序列；

2）在每个时空立方体内提取对象轨迹、对象表观、对象局部运动描述子，并将提取的描述子组成特征片段；

3）对所有时空立方体内的特征片段进行重构以构建序列时空立方体特征，利用该序列时空立方体特征进行交互事件分类检测。

进一步地，为了增强视觉特征的描述能力，上面步骤1）划分时空立方体的实现方法包括如下子步骤：

a）对象检测跟踪：根据每帧视频内的梯度、形状、运动等信息，结合目标对象的特点，检测出对象的位置及运动轨迹；

b）选择对象对：对于监控视频中出现的全部对象，利用已知的事件知识，选择出所有可能发生交互的对象对，截取每对对象共同出现的视频段；

c）时空立方体划分：对于截取的视频段，根据视频段的时长以及视频段内的内容变化，自适应地划分成若干时间子段，再结合对象的空间位置，构成时空立方体。

进一步地，上面步骤2）中各描述子为：

对象轨迹描述子：其包括的轨迹信息是：两个对象之间的平均距离、两个对象之间速度方向夹角、两个对象区域的重叠面积；

对象表观描述子：在每个时空立方体内提取的表观信息为对象覆盖区域内的特征像素点附近梯度直方图，并运用特征包（bag-of-feature）方法，将每个时空立方体内的所有特征点附近提取的梯度直方图构建成一个描述子；

对象局部运动描述子：在每个立方体内提取的局部运动信息为对象覆盖区域内的特征像素点附近光流直方图，并运用特征包（bag-of-feature）方法，将每个时空立方体内的所有特征点附近提取的光流直方图构建成一个描述子。

进一步地，上面步骤3）所述重构的方法为：将各特征片段串连在一起形成时序特征，将相邻时空立方体内的特征片段的差分值加入所述时序特征中。

进一步地，为了适应同一类事件持续时间可能不同这一特点，本发明提出的序列时空立方体特征也是变长的，根据事件发生的具体情况及具体时长（帧数）而定。

进一步地，采用动态时间对齐核函数来计算时空立方体特征的相似性，利用多核支持向量机来学习、分类视频段。

一种采用上述方法的基于序列时空立方体特征的视频交互事件分析装置，其包括：

预处理模块，用于检测并跟踪监控视频中感兴趣的对象；

视频序列划分模块，连接所述预处理模块，基于检测跟踪结果将监控视频自适应地划分成时空立方体序列；

时空立方体特征提取模块，连接所述预处理模块和所述视频序列划分模块，用于提取监控视频中感兴趣对象的视觉特征；

时序特征重构模块，连接所述时空立方体特征提取模块，用于将提取的时空立方体特征重构成变长序列特征；

序列特征分类模块，连接所述时序特征重构模块，用于检测监控视频中对象发生的交互事件。