[发明专利]一种基于层级化特征学习的动作识别方法

说明书

技术领域

本发明涉及图像处理和模式识别领域，尤其涉及一种基于层级化特征学习的动作识别方法。

背景技术

计算机视觉技术是一种通过对人类视觉的模拟，将现实中的二维图像或三维视频通过处理和分析实现对周围环境信息的识别与理解。在当前图像视频日益成为人们获取视觉信息的手段的背景下，计算机视觉技术得到了很好的发展。作为计算机视觉研究领域的一部分，基于视觉信息的人体动作分析与识别成为了当前热门的研究方向之一。人体动作识别是指通过计算机视觉技术和机器学习方法对图像序列或者视频中的人体行为进行识别。近几年来，人体动作识别广泛的应用于智能监控、视频检索、人机交互、行为分析、虚拟现实等方面，已取得了良好的进展。

在对样本进行特征提取与建模的过程中，人体动作识别方法可以分为两种：基于时空整体的方法与基于时间序列的方法。在基于时空整体的研究方法中，研究者将视频数据看成是一个三维时空立方体，而人体动作就存在于这个时空数据中。在基于相同动作具有相似的时空数据的假设中(如参考文献[1])，通过提取视频数据中的前景部分，进行数据重组，然后通过比较每个视频数据中的前景数据的相似性来进行动作的识别。通过采用分层的均值漂移算法使得视频中具有相似颜色的立方体聚集在一起(如参考文献[2])，对视频数据实现了3-D自动分割。然后在分割后的数据中寻找与动作模型最为匹配的子集实现动作识别。通过基于人体运动轨迹可以进行动作识别(如参考文献[3])。将视频中的人体运动的变化看作是在时空中变化的轨迹线，不同的运动在一定程度上形成的轨迹线是不同的，这样就可以利用轨迹线来描述动作。他们将人体手部在三维运动轨迹的时空曲率值保存在了二维的运动轨迹上，将轨迹作为动作的特征表达，得到了一种具有角度不变性的人体动作识别方法。利用对人体动作过程中提取人体重要关节(如参考文献[4])例如头，手，足等的运动轨迹，根据相似不变性来判断动作样本之间的相似度。近几年，基于时空整体方法中应用最为广泛的是利用时空兴趣点对人体动作进行表征。时空兴趣点特征可以捕捉到人体的外观以及运动的局部显著性。由于兴趣点的局部特性，它对视频中的复杂背景，尺度变化以及动作的种类的多样性等都具有很好的鲁棒性。常用的时空兴趣点有STIP特征(如参考文献[5])，他们将二维图像Harris角点检测方法(如参考文献[6])扩展到了3-D时空中Harris3D，并且通过用HOG和HOF的联合表征作为兴趣点的描述子。Cuboids兴趣点特征(如参考文献[7])通过利用在时域上进行Gabor滤波来增加检测到的兴趣点的个数，同时采用高于兴趣点检测尺度6倍的周围空间的信息进行亮度梯度描述，得到描述子。采用密集采样以及轨迹追踪的方法(如参考文献[8])进行特征点的选取，同时利用梯度，光流以及运动边界直方图作为描述子，得到了基于密度轨迹的特征。。还有很多像三维尺度不变性特征(3-dimentional Scale-Invariant Feature Transform,3D-SIFT)(如参考文献[9])，加速鲁棒性特征(Speeded Up Robust Feature,SURF)(如参考文献[10])，Mosift(如参考文献[11])，应用也很广泛。

在基于时间序列的方法中，研究者们将视频看作是一个图像序列，序列中的每个图像都包含了人体动作特征。通过一定序列的对比，判断动作的类别。由于人体动作随着个体的不同会有一定的差异性，比如幅度和速度等，基于此动态时间规划算法(如参考文献[12])可以较好的解决这个问题。而利用隐马尔可夫模型(Hidden Markov Model，HMM)对人体动作进行识别(如参考文献[13])的过程中，他们将视频中的每帧图形作为一个特征向量，然后对这些特征向量进行HMM建模，找到序列之间的隐含的状态转移关系，建立基于状态的模型，然后对动作进行识别。此外通过应用多个HMM生成了耦合隐马尔科夫模型(CHMM)(如参考文献[14])，对多人之间的交互动作进行了建模。在基于时间序列中，另一个应用比较广泛的是条件随机场(Conditional Random Fields,CRF)(如参考文献[15])，CRF模型可以将动作序列分割成多个连续的单元，根据相邻单元间的转换规则来对人体动作进行识别。为了应对不同的时序模型，很多研究工作对CRF进行了扩展，例如：隐态CRF(如参考文献[16])动态CRF(如参考文献[17])，半马尔科夫随机场模型(如参考文献[18])等。

在动作识别领域中主要面临着以下挑战：