[发明专利]一种基于局部曲面几何特征的人体动作识别方法

说明书

技术领域

本发明属于数字图像处理技术领域，具体涉及一种基于局部曲面几何特征的人体动作识别方法。

背景技术

人体动作识别的目的是通过计算机算法自动的将从RGB相机或其它传感器设备采集的人体动作时序序列数据转换为相应的动作语义信息。人体动作的理解与识别对许多人工智能系统来说是至关重要的，并广泛的应用于智能视频监控、人机交互、视频分析与检索，以及机器人等领域中。

最近，传感器技术的进步为我们带来了低廉的高清晰的深度相机，例如微软公司的Kinect和华硕公司的Xtion PRO LIVE。深度相机利用结构光实时地感知世界并形成深度映射图像。深度映射图像中的每个像素记录着场景的深度值，与普通的RGB图像中像素所表示的入射光强度值截然不同。深度相机的引入能够极大的拓展计算机系统感知三维世界并提取低层视觉信息的能力，并在计算机视觉领域中受到越来越广泛的应用。深度相机较传统RGB相机在人体动作识别方面具有无可比拟的优势，即它不受光照条件的影响，具有颜色与纹理不变性，同时，深度相机能够通过OpenNI算法来实时估计人体的骨架关节点位置，以此可作为人体的姿态信息来进行精确的人体动作识别。

目前的人体动作识别方法主要是基于RGB图像数据或深度传感器采集的深度数据。尽管RGB相机能够捕捉丰富的颜色与纹理信息，这对于图像处理来说至关重要，但是其具有固有的缺陷：对光线、视角等的变化异常敏感。从而使得前景运动目标与背景混杂在一起，导致运动目标的提取工作变得异常困难。另外，由于RGB相机在对3D场景成像过程中丢失了重要的深度或距离信息，直接从RGB图像序列中捕捉3D人体动作运动也是一件异常棘手的事情。但是，由于人体运动是在3D空间中进行的，因此，3D信息在人体动作识别中具有举足轻重的作用。相比较于传统的基于RGB的方法，当前基于深度相机的方法能够利用骨骼关节点获取人体动作的姿态信息，同时利用深度映射图像来提供更丰富的有关动作的形状和运动信息。因此对动作具有更强的描述与判别能力，从而进一步提升了动作识别的精度。但较深度映射图像而言，点云数据具有更强的3D几何结构信息。

发明内容

本发明的目的是提供一种基于局部曲面几何特征的人体动作识别方法，解决了现有基于深度相机的人体动作特征提取算法中单一依赖于骨骼关节点或深度映射图像而使得特征描述能力差和判别能力弱，最终导致识别率低的问题。

本发明所采用的技术方案是，一种基于局部曲面几何特征的人体动作识别方法，具体按照以下步骤实施：

步骤1、读入深度映射图像与骨架关节点数据以及相机的内部参数，以深度映射图像序列和相机内部参数重构人体动作的3D点云数据；

步骤2、在每帧图像上以每个骨架关节点为锚点，在其局部邻域的点云数据空间中提取9维的局部曲面几何特征；

步骤3、采用时间金字塔协方差矩阵来建模特定时间窗口内的局部曲面几何特征间的相关性与时间演化过程；

步骤4、对协方差矩阵向量化，最后得到一个N＝9M维的特征描述子，M为人体关节点的个数。

本发明的特点还在于，

步骤1的具体实施步骤为：

步骤1.1、读入深度映射图像序列和骨架关节点数据以及相机的内部参数

在深度映射图像中位置(i,j)处的深度值为I(i,j)，深度映射图像的宽度与高度分别为W和H；骨架关节点的坐标为q＝(q_x,q_y,q_z)；fov_h和fov_v分别为相机内部参数中的水平视场与垂直视场；

步骤1.2、重构人体动作的3D点云数据，即计算深度图像中每个点所对应的3D点云坐标p＝(p_x,p_y,p_z)

步骤2中的局部曲面几何特征：

f＝(q_x,q_y,q_z,n_x,n_y,n_z,μ,ν,κ)^T

其中，(q_x,q_y,q_z)为关节点的3D位置，(n_x,n_y,n_z)为关节点处的法向量，(μ,ν)为关节点处的主曲率，κ为高斯曲率。