[发明专利]识别视频中人体行为的方法和系统

权利要求书

1.一种识别视频中人体行为的方法，所述方法包括：

提取目标视频中的特征点；

将特征点周围时间和空间邻域内固定的像素点和所述特征点组成点对；

将所述点对形成时空3D共生特征，时空3D共生特征包括3D共生梯度方向直方图特征、3D共生光流直方图特征和3D共生运动边界直方图特征；

对所述时空3D共生特征进行联合统一建模，并区分所述时空3D共生特征中各特征间的共享信息和独立信息，对所述共享信息的超向量和独立信息的超向量进行串联，得到所述目标视频表示的多视角超向量；其中，所述共享信息的超向量为对所述时空3D共生特征进行联合统一建模后得到的高斯模型的隐变量拼接得到的向量，所述独立信息的超向量是对所述时空3D共生特征进行联合统一建模后得到的模型分别相对于所述时空3D共生特征的梯度向量；

将多视角超向量带入支持向量机分类器中对所述目标视频中的人体行为进行识别。

2.根据权利要求1所述的方法，其特点在于，提取点对形成时空3D共生特征的步骤为：

对所述点对进行联合量化，并统计所述点对的梯度方向的特征得到共生矩阵；

将所述共生矩阵辅成向量，并串联形成时空3D共生特征。

3.根据权利要求1所述的方法，其特征在于，所述对所述时空3D共生特征进行联合统一建模，并区分所述时空3D共生特征中各特征间的共享信息和独立信息，对所述共享信息的超向量和独立信息的超向量进行串联，得到所述目标视频表示的多视角超向量的步骤为：

对所述时空3D共生特征中任意两种特征分别建立混合典型相关分析模型；

从所述混合典型相关分析模型中提取作为所述目标视频表示的多视角超向量。

4.根据权利要求3所述的方法，其特征在于，所述对所述时空3D共生特征中任意两种特征分别建立混合典型相关分析模型的步骤为:

将所述时空3D共生特征中任意两种特征的空间划分为多个局部空间；

对所述多个局部空间依次建立典型相关分析模型；

根据所述典型相关分析模型建立混合典型相关分析模型。

5.根据权利要求3所述的方法，其特征在于，所述从所述混合典型相关分析模型中提取作为所述目标视频表示的多视角超向量的步骤为：

在所述混合典型相关分析模型中的局部高斯中提取隐变量，并将所述隐变量拼起来得到共享信息的超向量；

根据所述混合典型相关分析模型求所述3D共生特征的独立信息的超向量；

将所述独立信息的超向量和所述共享信息的超向量串联起来，以得到所述目标视频表示的多视角超向量。

6.一种识别视频中人体行为的系统，其特征在于，所述系统包括：

特征点提取模块，用于提取目标视频中的特征点；

点对组成模块，用于将所述特征点周围时间和空间邻域内固定的像素点和所述特征点组成点对；

特征形成模块，用于将所述点对形成时空3D共生特征，所述时空3D共生特征包括3D共生梯度方向直方图特征、3D共生光流直方图特征和3D共生运动边界直方图特征；

超向量提取模块，用于对所述时空3D共生特征进行联合统一建模，并区分所述时空3D共生特征中各特征间的共享信息和独立信息，对所述共享信息的超向量和独立信息的超向量进行串联，得到所述目标视频表示的多视角超向量；其中，所述共享信息的超向量为对所述时空3D共生特征进行联合统一建模后得到的高斯模型的隐变量拼接得到的向量，所述独立信息的超向量是对所述时空3D共生特征进行联合统一建模后得到的模型分别相对于所述时空3D共生特征的梯度向量；

人体行为识别模块，用于将所述多视角超向量带入支持向量机分类器中对所述目标视频中的人体行为进行识别。

7.根据权利要求6所述的系统，其特征在于，所述特征形成模块包括：

共生矩阵获取单元，用于对所述点对进行联合量化，并统计所述点对的梯度方向的特征得到共生矩阵；

时空3D共生特征形成单元，用于将所述共生矩阵辅成向量，并串联形成时空3D共生特征。