[发明专利]一种基于深度运动轨迹的人体动作识别方法

说明书

技术领域

 本发明属于计算机视觉和模式识别技术领域，涉及一种基于深度运动轨迹的人体动作识别方法，用于对深度人体动作进行鲁棒和高效的描述，从而进行高效的人体动作识别。

背景技术

人体动作识别在计算机视觉领域是一个非常活跃的研究课题，并且随着计算机的发展，已经在许多领域得到了广泛的应用，例如：视频监控、人机交互和视频分析等。随着微软发布了Kinect，越来越多的研究者开始关注Kinect中的深度数据。相对于RGB数据，深度数据有以下几个优势：首先，深度数据能提供纯粹的几何形状和清晰的边缘，因此在图像分割、目标识别以及动作识别中比RGB数据中的颜色和纹理有更好的区分性；其次，深度图像对光照的变化是不敏感的，因此可以使用深度图像解决视觉上的许多问题。 

正是由于深度数据具有RGB数据所不能比拟的优点，因此，更多研究者们开始关注基于深度数据的动作识别算法。虽然目前已经提出了一些基于深度数据的动作识别算法，但是由于深度传感器的限制，获取的深度数据有以下几个特征：1）像素值跳变比较大，尤其在边缘区域；2）在相同位置处，深度值都相同，区分性小。正是由于以上原因，造成对深度动作数据的描述困难，导致现有的基于深度数据的动作识别算法性能有待提高。

发明内容

本发明的目的是克服现有技术的上述不足，提供了一种基于深度运动轨迹的人体动作识别方法，用于对深度人体动作进行鲁棒和高效地描述，提高动作识别的性能。

本发明提供的基于深度运动轨迹的人体动作识别方法，针对深度数据的特点，通过对时空兴趣点的运动轨迹进行描述，从而克服深度数据的不足，实现更为鲁棒的深度人体动作的描述，从而进行高效的人体动作识别。该方法具体包含以下步骤：

第1、视频预处理

由于从设备中采集的深度数据包括许多噪声、空洞，所以需要使用平滑和修补算法过滤噪声和修补空洞；对于经过上述处理的数据，由于含有复杂的背景，这些背景会对后续的处理造成干扰，所以需要根据距离信息先将人体和背景进行分割，并尽可能的保留人体；

第2、多尺度空间图像构建

在对深度图像序列预处理后，为了能够获得更为鲁棒的点，对每幅图像进行尺度构建，从而获得多尺度空间图像；

第3、各尺度空间图像的网格化及兴趣点的提取

在多尺度图像的基础上，对多尺度图像分别进行网格化，使得每个网络中尽量包含相同数目的像素，然后，在每个网格内，选取一个兴趣点作为待跟踪特征点，并保存对应点的位置信息；

第4、特征点跟踪

针对已经选择的待跟踪特征点，使用光流法进行跟踪，并保留每一步的跟踪结果和对应的位置信息；

第5、基于深度运动轨迹的描述

在特征点跟踪的基础上，针对跟踪前后的特征点，相邻位置做差，将这些差值串联起来，构成了运动轨迹，同时，以跟踪的长度对运动轨迹进行归一化；在此基础上，针对每个点，以HOG-HOF描述子对兴趣点的轨迹信息进行描述；具体步骤包括：

第5.1 在预处理后的深度图像上，采用下采样的方法构建多尺度图像空间；

第5.2 针对多尺度图像空间，对各层图像分别进行网络化，并使得每个网格具有相同的像素数，同时，选取每个网格的中心作为待跟踪的特征点；

第5.3 针对每个待跟踪的特征点，采用光流法对其进行跟踪，并保留对应的跟踪结果；

第5.4 在特征点跟踪的基础上，根据跟踪结果，计算相邻位置差，并将这些差值串联起来，构成其运动轨迹，同时，以跟踪的长度对运动轨迹进行归一化；在此基础上，针对每个点，以HOG-HOF描述子对兴趣点的轨迹信息进行描述；

第6、码书构建和基于“词袋”的特征归一化

在这些提取时空兴趣点的基础上，采用K-means方法，针对第4步提取的时空兴趣点和第5步中对兴趣点的描述，采用“词袋”方法对这些兴趣点进行归一化，并保存对应的结果；

第7、基于SVM的动作识别

根据第6步所获得的特征，根据训练集样本，采用交叉认证方法训练一个多类支持向量机分类器，其中支持向量机的核函数为径向基核函数；这样，通过训练，可以获得对应模型的参数，构建了SVM分类器模型，完成动作识别。