[发明专利]基于序列时空立方体特征的视频交互事件分析方法及装置

摘要

本发明涉及一种基于序列时空立方体特征的视频交互事件分析方法及装置，该方法包括基于监控视频的检测跟踪结果将该监控视频划分成若干时空立方体序列；在每个时空立方体内提取对象轨迹、表观和局部运动描述子，并将提取的描述子组成特征片段；对所有时空立方体内的特征片段进行重构以构建序列时空立方体特征，利用该序列时空立方体特征进行交互事件分类检测。该装置包括预处理模块、视频序列划分模块、时空立方体特征提取模块、时序特征重构模块和序列特征分类模块。本发明实现了对监控视频内容的高层语义层描述，并且利用基于动态时间对齐核函数的多核支持向量机，实现了变长序列特征分类，从而实现了对监控视频流交互事件的智能检测。

主权项

一种基于序列时空立方体特征的视频交互事件分析方法，其步骤包括：1)基于监控视频的检测跟踪结果将该监控视频划分成若干时空立方体序列；该步骤包括如下子步骤：a)根据每帧视频内的梯度、形状和运动信息，并结合目标对象的特点，检测出对象的位置及运动轨迹；b)对于监控视频中出现的全部对象，利用已知的事件知识选择出所有可能发生交互的对象对，并截取每对对象共同出现的视频段；c)对于截取的视频段，根据视频段的时长以及视频段内的内容变化，自适应地划分成若干时间子段，再结合对象的空间位置，构成时空立方体；2)在每个时空立方体内提取对象轨迹描述子、对象表观描述子和对象局部运动描述子，并将提取的描述子组成特征片段；3)对所有时空立方体内的特征片段进行重构以构建序列时空立方体特征，利用该序列时空立方体特征进行交互事件分类检测；所述重构的方法为：将各特征片段串连在一起形成时序特征，将相邻时空立方体内的特征片段的差分值加入所述时序特征中。