[发明专利]基于序列时空立方体特征的视频交互事件分析方法及装置

权利要求书

1.一种基于序列时空立方体特征的视频交互事件分析方法，其步骤包括：

1)基于监控视频的检测跟踪结果将该监控视频划分成若干时空立方体序列；该步骤包括如下子步骤：

a)根据每帧视频内的梯度、形状和运动信息，并结合目标对象的特点，检测出对象的位置及运动轨迹；

b)对于监控视频中出现的全部对象，利用已知的事件知识选择出所有可能发生交互的对象对，并截取每对对象共同出现的视频段；

c)对于截取的视频段，根据视频段的时长以及视频段内的内容变化，自适应地划分成若干时间子段，再结合对象的空间位置，构成时空立方体；

2)在每个时空立方体内提取对象轨迹描述子、对象表观描述子和对象局部运动描述子，并将提取的描述子组成特征片段；

3)对所有时空立方体内的特征片段进行重构以构建序列时空立方体特征，利用该序列时空立方体特征进行交互事件分类检测；所述重构的方法为：将各特征片段串连在一起形成时序特征，将相邻时空立方体内的特征片段的差分值加入所述时序特征中。

2.根据权利要求1所述的方法，其特征在于，所述对象轨迹描述子包括的轨迹信息是：两个对象之间的平均距离、两个对象之间速度方向夹角和两个对象区域的重叠面积。

3.根据权利要求1所述的方法，其特征在于：在每个时空立方体内提取的表观信息为对象覆盖区域内的特征像素点附近梯度直方图，并运用特征包方法，将每个时空立方体内的所有特征点附近提取的梯度直方图构建成所述对象表观描述子；在每个立方体内提取的局部运动信息为对象覆盖区域内的特征像素点附近光流直方图，并运用特征包方法，将每个时空立方体内的所有特征点附近提取的光流直方图构建成所述对象局部运动描述子。

4.根据权利要求1所述的方法，其特征在于：所述序列时空立方体特征是变长的，根据事件发生的具体情况及具体时长而定。

5.根据权利要求1所述的方法，其特征在于：采用动态时间对齐核函数计算时空立方体特征的相似性，利用多核的支持向量机学习、分类视频段。

6.一种采用权利要求1所述方法的基于序列时空立方体特征的视频交互事件分析装置，其特征在于，包括：

预处理模块，用于检测并跟踪监控视频中感兴趣的对象；

视频序列划分模块，连接所述预处理模块，用于基于检测跟踪结果采用以下步骤将监控视频自适应地划分成时空立方体序列：a)根据每帧视频内的梯度、形状和运动信息，并结合目标对象的特点，检测出对象的位置及运动轨迹；b)对于监控视频中出现的全部对象，利用已知的事件知识选择出所有可能发生交互的对象对，并截取每对对象共同出现的视频段；c)对于截取的视频段，根据视频段的时长以及视频段内的内容变化，自适应地划分成若干时间子段，再结合对象的空间位置，构成时空立方体；

时空立方体特征提取模块，连接所述预处理模块和所述视频序列划分模块，用于提取监控视频中感兴趣对象的视觉特征；

时序特征重构模块，连接所述时空立方体特征提取模块，用于将提取的时空立方体特征重构成变长序列特征；

序列特征分类模块，连接所述时序特征重构模块，用于检测监控视频中对象发生的交互事件。

7.根据权利要求6所述的装置，其特征在于：所述时空立方体特征提取模块包括对象轨迹特征提取单元、对象表观特征提取单元和对象局部运动特征提取单元。

8.根据权利要求7所述的装置，其特征在于：

所述对象轨迹描述子提取单元在每个时空立方体内提取的轨迹信息包括：两个对象之间的平均距离，两个对象之间速度方向夹角，以及两个对象区域的重叠面积；

所述对象表观描述子提取单元在每个时空立方体内提取的表观信息为对象覆盖区域内的特征像素点附近梯度直方图，并运用特征包方法，将每个时空立方体内的所有特征点附近提取的梯度直方图构建成一个描述子；

所述对象局部运动描述子提取单元在每个立方体内提取的局部运动信息为对象覆盖区域内的特征像素点附近光流直方图，并运用特征包方法，将每个时空立方体内的所有特征点附近提取的光流直方图构建成一个描述子。