[发明专利]识别视频中人体行为的方法和系统

说明书

本发明提供了一种识别视频中人体行为的方法，所述方法包括：提取目标视频中的特征点；将特征点周围时间和空间邻域内固定的像素点和特征点组成点对；将所述点对形成时空3D共生特征，时空3D共生特征包括3D共生梯度方向直方图特征、3D共生光流直方图特征和3D共生运动边界直方图特征；根据时空3D共生特征提取目标视频表示的多视角超向量；将多视角超向量带入支持向量机分类器中对目标视频中的人体行为进行识别。根据时空3D共生特征提取目标视频表示的多视角超向量更能够反映复杂的表观结构和运动结构，因而利用视频表示的多视角超向量进行人体行为识别，能够提高了人体行为识别的精确度。

技术领域

本发明涉及计算机视觉领域，特别是涉及一种识别视频中人体行为的方法和系统。

背景技术

人体行为识别是通过计算机视觉方法判断和识别视频中的人正在进行的行为，例如通过对视频中的人体行为进行识别可以知道视频中的人是在跑动或者散步，视频表示方法直接影响人体行为识别的最终效果。

传统的视频表示方法主要是基于多种时空局部特征融合的方法，此类方法首先在视频中抽取局部时空长方体块，然后在原始帧中提取梯度方向直方图(Histogram ofGradient orientation,HOG)特征，在光流帧中提取光流梯度方向直方图(Histogram ofFlow gradient orientation,HOF)特征和运动边界直方图 (Motion BoundaryHistogram,MBH)特征。而在利用这些不同特征的特征融合阶段，常用的有两种方法。一种是早期融合法，即所有的特征串联形成一个长特征进行编码和聚合以形成中层的视频表示；另一种是后期融合法，即将单种特征进行编码和聚合形成多个中层视频表示方法，然后将中层表示串联或者在单个特征得到分类得分后进行加权融合；最后，将中层视频表示输入至分类器进行人体行为识别。

传统方法中，在人体行为识别中提取局部特征(如HOG、HOF和MBH)虽然考虑了表观和运动信息，但是这种信息只局限在单帧中，其中帧的上下文表观及运动信息被忽略，这将导致人体行为识别不够精确。

发明内容

基于此，有必要针对在视频中对人体行为识别不够精确问题，提供一种能精确对视频中的人体行为进行识别的实现对视频中人体行为识别的方法。

此外还有必要提供一种能精确对视频中的人体行为进行识别的实现对视频中人体行为识别的系统。

一种识别视频中人体行为的方法，所述方法包括：

提取目标视频中的特征点；

将所述特征点周围时间和空间邻域内固定的像素点和所述特征点组成点对；

将所述点对形成时空3D共生特征，所述时空3D共生特征包括3D共生梯度方向直方图特征、3D共生光流直方图特征和3D共生运动边界直方图特征；

根据所述时空3D共生特征提取所述目标视频表示的多视角超向量；

将所述多视角超向量带入支持向量机分类器中对所述目标视频中的人体行为进行识别。

在其中一个实施例中，所述根据所述点对形成时空3D共生特征的步骤为：

对所述点对进行联合量化，并统计所述点对的梯度方向的特征得到共生矩阵；

将所述共生矩阵辅成向量，并串联形成时空3D共生特征。

在其中一个实施例中，所述根据所述时空3D共生特征提取所述目标视频表示的多视角超向量的步骤为：

对所述时空3D共生特征中任意两种特征分别建立混合典型相关分析模型；

从所述混合典型相关分析模型中提取作为所述目标视频表示的多视角超向量。