[发明专利]一种基于Kinect的单视点手势姿势识别方法

说明书

本发明公开了一种基于Kinect的单视点手势姿势识别方法，具体为：以手腕关节点为初始种子坐标，通过对手腕关节点的邻域像素进行递归遍历，提取手势区域，然后采用中值滤波及掩膜图像法进行去噪处理，再进行胳膊区域剔除，然后进行基于曲率和挠率的3D‑SIFT特征点提取，实现对手势姿态凹凸特征的表征及对手势姿态扭曲程度的度量；在利用手势三维手势点云数据的主趋势方向、三维点云数据的手势点云中心点以及3D‑SIFT特征点来构造点特征描述子，最后计算源手势点云和目标手势点云的点特征描述子进行匹配识别及优化。本发明的一种基于Kinect的单视点手势姿势识别方法，解决了手势动作识别过程中单视点手势姿态识别的问题。

技术领域

本发明属于计算机图形学和虚拟现实相结合交叉学科中的手势姿势识别方法技术领域，涉及一种基于Kinect的单视点手势姿势识别方法。

背景技术

手势识别技术是自然人机交互的重点研究内容之一，手势作为自然的人机交互手段可以提高虚拟场景中的互操作性并带来更加真实自然的沉浸式体验，从而为复杂交互任务的完成提供了可能。手势识别技术使用比较广泛，比如安全驾驶中的辅助驾驶、聋哑人交流的手语识别等方面，总之，手势识别技术在教育、医疗、无人机等领域都有着广泛的应用。

目前手势识别技术主要基于二维和三维的，二维手势识别是在图像层面上的手势识别，三维是在深度图或者点云数据上的手势识别。相比二维手势识别，三维识别方法因其数据本身增加了场景深度信息，因此更为准确反映手势细节信息、三维位置和表面信息，更加符合人的视觉特性。

三维手势姿态识别主要是基于微软Kinect或其它深度传感器采集的手势深度数据进行识别研究，分为基于外表几何特征(包括基于外表轮廓特征和基于形态拓扑特征)和内部几何特征(即基于内部骨架特征)的手势姿态识别方法。

基于外表轮廓特征的手势识别是基于Kinect采集的深度图数据上的手势姿态识别。Pugeault N,Bowden R.Spelling it out:Real-time ASL fingerspellingrecognition[C]//2011IEEE International conference on computer visionworkshops(ICCV workshops).IEEE,2011:1114-1119.，通过用OpenNI+NITE框架进行手势检测和追踪并使用Gabor滤波器进行手势形状轮廓特征提取实现动态识别；Yao Y,FuY.Contour model-based hand-gesture recognition using the Kinect sensor[J].IEEE Transactions on Circuits and Systems for Video Technology,2014,24(11):1935-1944，对手势进行分割和分类并构建手势轮廓模型库，针对图形构造三维手势轮廓并在模型库匹配从而实现手势识别。

基于形态拓扑特征的手势识别是基于手势深度图拓扑结构的识别方法。Tang D,Jin Chang H,Tejani A,et al.Latent regression forest:Structured estimation of3d articulated hand posture[C]//Proceedings of the IEEE conference oncomputer vision and pattern recognition.2014:3786-3793，利用训练出的符合人手层级拓扑的潜在回归森林对每个像素点进行分类评估并确定出关节点像素，进而得到手势层级拓扑结构，实现对手势姿态的准确估计。