[发明专利]一种三维手势姿态估计方法

说明书

本发明公开一种三维手势姿态估计方法，包括：S1、获取多张手势深度图并进行手势前景与背景的分割，以得到多张手势前景图并随机分为训练集和测试集；S2、按照手势模型图构建各手势前景图的实际标签图，实际标签图包含手势前景图中代表人手各参考辨识点的多个坐标点，每个坐标点的值包含对应的参考辨识点的坐标值和深度值；S3、选取训练集中的多张手势前景图对全卷积神经网络进行训练，并对应地输出多个预测标签图；S4、比较实际标签图与预测标签图之间的偏差，同时更新网络参数；S5、以不断降低偏差进行迭代，直至网络参数收敛；S6、输入待估计的手势深度图，输出对应的标签图，即为估计结果。

技术领域

本发明涉及计算机视觉与深度学习领域，具体涉及一种三维手势姿态估计方法。

背景技术

近几年，随着虚拟现实、增强现实技术的逐渐普及以及不可估量发展前景，作为人机交互的一种重要手段，手势识别技术一直受到计算机视觉领域的高度关注，由于人手关节较多、形状较复杂、自由度较高且容易出现遮挡现象，迅速且精确的识别出手势位置及手势动作一直是一个难题。

传统的手势姿态估计方法通常可以分成两种：基于传感器和基于图像。基于传感器的手势姿态估计技术，是指通过在人手掌及手指特定的部位固定加速度计、角速度计等传感器，以通过所穿戴的传感器设备获取人手特定部位的位置与运动状态信息，进而通过运用运动学的方法解算出人手手掌及手指的状态，从而达到手势姿态估计的目的。这种方法由于要穿戴传感器设备，对手势检测局限性很大，而且受传感器本身精度与穿戴位置变化等因素的影响，通常检测误差会较大。另一种基于图像的手势姿态估计方法，通常是通过对RGB相机拍摄到的包含人手的图像使用边缘检测、肤色检测等基于边缘或者区域检测的方法，首先确定人手在图像中的大致区域，进而通过图像分割等手段分割出手指、手腕等细节信息。由于普通相机拍摄到包含手的图片，通常只能反映场景的平面信息，如果手指间出现遮挡，便无法识别出遮挡手指的动作细节，因此也存在较大误差。

近年来，随着深度学习在计算机视觉领域的应用，也有不少人提出采用深度卷积神经网络进行手势识别的方法，但这些方法仍存在诸多缺点，例如：由于采集到的RGB图像存在手部光线强弱差别、肤色差别等，识别的准确度因此下降；所采用的卷积神经网络待训练的参数较多，训练和测试速度较慢。

发明内容

本发明的主要目的在于提出一种基于深度图以及全卷积神经网络的三维手势姿态估计方法，以克服现有的采用深度卷积神经网络进行手势识别的方法所存在的识别精度不高、卷积神经网络的训练参数多、训练和测试速度慢的问题。

本发明为达上述目的而提出的技术方案如下：

一种三维手势姿态估计方法，包括以下步骤：

S1、获取多张手势深度图，并对各手势深度图进行手势前景与背景的分割，以得到多张手势前景图并随机分为训练集和测试集；

S2、按照一预定的手势模型图，构建各手势前景图的实际标签图，所述实际标签图包含手势前景图中代表人手各参考辨识点的多个坐标点，每个坐标点的值包含对应的参考辨识点的坐标值和深度值；

S3、选取训练集中的多张手势前景图输入到一全卷积神经网络中进行手势特征的训练，以提取人手辨识点及其坐标值和深度值，并对应地输出多个预测标签图；

S4、对步骤S3中选取的各手势前景图，分别将各自的所述实际标签图与所述预测标签图进行比较求偏差，并依据所述偏差更新所述全卷积神经网络的训练参数；

S5、重复步骤S3和S4以进行不断的迭代，直至所述偏差不再下降时，保存当前训练参数作为全卷积神经网络的最终参数；其中，每迭代预定次数，则选取测试集中的手势前景图输入到所述全卷积神经网络进行测试；

S6、将待估计的手势深度图输入到具有所述最终参数的全卷积神经网络中，输出所述待估计的手势深度图所对应的标签图。