[发明专利]一种基于深度视频的人体行为识别方法

说明书

本发明公开了一种基于深度视频的人体行为识别方法，属于视频信息处理技术领域。本发明方法首先对视频序列的人体目标检测与行为定位，然后对视频的多视角投影形成多视角子视频序列，再对视频进行的动态图编码，之后采用多卷积神经网络模型进行训练提特征，再对特征进行PCA降维处理，最后训练线性支撑向量机分类器，利用支撑向量机分类器获得待测深度视频的行为识别结果；本发明方法从深度图的特点与视频编码的角度出发，充分挖掘图像中的空间信息，降低了处理视频的复杂性，采用的深度学习方法提供了强的特征表达能力，相对于现有其他的传统方法，该方法在算法复杂性、特征表达与识别精度上具有明显的优势。

技术领域

本发明属于视频信息处理技术领域，更具体地，涉及一种基于深度视频的人体行为识别方法。

背景技术

随着深度摄像机日益广泛的使用，深度视频的获取越来越容易，基于视频的内容分析，尤其是对行为的分析，对于视频的理解与应用来说起到至关重要的作用。

针对深度视频行为识别的问题，现有技术主要从两类不同形式出发研究的解决方案。考虑到深度视频通常可以容易得到视频中人的骨架关节点信息，所以一类解决方案是根据骨架关节点信息作为输入进行的行为识别技术，由于视频是一种与时间序列有关的数据结构，处理该类问题一般使用递归神经网络RNN模型及其改进模型LSTM来进行编码视频信息。另一类解决方案是直接使用深度图像作为输入来进行的行为识别，该类方法主要依据深度图中点的实际空间位置产生梯度向量的统计直方图(如HON4D、HOPC等)、或者直接在4D空间上提特征来进行行为表述。

上述方法存在以下缺陷，对于第一类方法，使用骨架关节点作为输入的方法相对简单，噪声较少，带来的问题是没有真正有效的使用到深度信息，只是根据相对运动结构的特点来进行的行为识别，信息损失严重同时缺乏丰富的空间信息，准确率相对较低。对于第二类方法，由于真实场景下深度图像的噪声较大，目前基于梯度的方法很难得到准确的特征描述效果，同时该类方法中对于视频的时间序列信息只是简单帧之间的串联结构，没有比较好的描述能力，无法实现较好的识别效果。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于深度视频的人体行为识别方法，其目的在于通过对深度图像的降噪、对深度视频的编码以及充分利用深度卷积网络的强表达能力的优势得到更为准确的视频描述特征，从而提高深度视频人体行为识别的准确率。

为实现上述目的，本发明提供了一种基于深度视频的人体行为识别方法，所述方法包括：

(1)对数据集中深度视频采用多视角投影，获得深度视频的多个视角的子视频帧序列；

(2)对每个子视频帧序列使用动态图编码，将子视频帧序转化为动态图；

(3)对所有视角的动态图进行分组并训练各组的深度卷积神经网络，分别提取各组深度卷积神经网络全连接层的特征并串联起来作为各组的多视角特征；

(4)所有多视角特征分别进行降维处理，再将降维后所有多视角特征串联起来作为最终特征，然后针对最终特征采用多类分类策略训练线性的支撑向量机分类器；

(5)将待识别深度视频经过多视角变换和动态图编码再使用训练好的卷积神经网络提取特征后输入到支撑向量机分类器，输出结果即为人体行为识别结果。

进一步地，所述步骤(1)中深度视频的多视角投影具体包括：

(11)根据深度视频中每一帧图像的每个像素点深度值的信息进行旋转变换得到不同视角的三维空间位置，三维空间三个坐标轴的旋转变换矩阵可以表示为：

其中，α，θ，β分别表示三维空间三个坐标轴的旋转角度；