[发明专利]一种基于时空信息和层级表示的视频人体行为识别方法

说明书

本发明涉及人工智能领域，更具体的，涉及一种基于时空信息和层级表示的视频人体行为识别方法。本发明充分利用了视频中的时空信息，层级时空束将视频运动分为几个部分，进而得到视频运动的更高维度的表示。针对传统视频表示方法忽略视频的中高层语义信息，仅仅关注特征出现的次数，利用的只是0阶信息等不足，基于层级时空束的视频表示方法能够有效剪除视频的背景噪声干扰、并且弥补底层特征与高层特征之间的语义鸿沟，可以捕获更高阶更复杂的运动结构信息。层级时空束方法可以在更高的维度上，析取更加复杂和更具表现力的视频表示，能够有效提高视频识别的效果。

技术领域

本发明涉及人工智能领域，更具体的，涉及一种基于时空信息和层级表示的视频人体行为识别方法。

背景技术

视频人体行为识别是一项前沿的人工智能技术，能够通过计算机自动计算，从而识别视频内容并进行分类，可广泛应用智能监控、人机交互、视频内容检索中。具体指通过机器学习技术，从已标定类别的视频数据集中提取特征，训练特征得到分类器，进而判断未知视频的过程。为了获取较高的人体行为识别率，首先需要提取具有表现力的特征。理想的特征首先需要对人体外观与尺寸、场景光照和拍摄视角等具有鲁棒性；其次，提取到的特征应含有丰富的场景上下文信息，从而能够有效区分其他运动类别的视频。

从特征析取角度，目前人体行为识别技术包括基于底层特征、基于层次特征和基于深度特征的视频表示方法。基于底层特征的视频表示方法又可分为基于全局特征的视频表示和基于局部特征的视频表示，如时空兴趣点和轨迹特征等视频表示方法。基于层次特征的方法可分为基于场景上下文的视频表示方法和基于时空段的视频表示方法。以上技术现存在如下缺点：

1）前景运动与背景运动分离

在背景固定、光流变化不大的监控环境下，人体行为识别能达到较好的效果。但在自然场景下，视频易受诸如角度变化、摄像头抖动、光照、背景遮挡、背景杂斑快速无规律运动等众多因素影响。

2）前景特征提取困难

在自然场景下拍摄的人体运动视频不可避免包含上述背景光照以及摄像机运动。如果特征提取不当，则会夹杂大量背景噪声，造成信息冗余，降低所提取特征的有效性，影响识别结果。

3）视频表示构建

即使处于相同运动类别的两个视频，其中的动作模式也不尽相同。对于每个视频执行的个体，其运动速度也不同。而且，相同动作类别有着不同的拍摄场景与角度。

发明内容

本发明提出一种基于时空信息和层级表示的视频人体行为识别方法，本算法是一种能够描述更高维度且富含视频结构信息的视频特征表示方法，而层级时空束能捕获更高阶更复杂的运动结构信息，进而弥补视频高层与底层特征间的语义鸿沟。

为实现以上发明目的，采用的技术方案是：

一种基于时空信息和层级表示的视频人体行为识别方法，包括以下步骤：

步骤S1：基于摄像机运动补偿视频片段的整体光流，提取前景运动光流，并形成补偿轨迹；

步骤S2：通过关键帧选择，过滤得到视频中具有判别力的关键帧；

步骤S3：对补偿轨迹采样并训练得到混合高斯模型；

步骤S4：选择关键帧得到视频关键帧集合，并结合混合高斯模型对补偿轨迹进行FV编码，形成关键轨迹集；

步骤S5：将整个视频进行片段分割与排序模型，将分割后的视频片段执行步骤S1~步骤S4，获得分割后视频片段的层级时空束特征；

步骤S6：将以层级时空束作为视频表示，并作为分类器的输入，经过SVM分类之后，得到视频分类标签。

优选的，步骤S1的具体步骤如下：