[发明专利]一种三维手势姿态估计方法

权利要求书

1.一种三维手势姿态估计方法，包括以下步骤：

S1、获取多张手势深度图，并对各手势深度图进行手势前景与背景的分割，以得到多张手势前景图并随机分为训练集和测试集；

S2、按照一预定的手势模型图，构建各手势前景图的实际标签图，所述实际标签图包含手势前景图中代表人手各参考辨识点的多个坐标点，每个坐标点的值包含对应的参考辨识点的坐标值和深度值；

S3、选取训练集中的多张手势前景图输入到一全卷积神经网络中进行手势特征的训练，以提取人手辨识点及其坐标值和深度值，对应地输出多个预测标签图；将所述预测标签图输入到一反卷积神经网络中，依次经过第一反池化层(501)、第一反卷积层(601)、第二反池化层(502)、第二反卷积层(602)，进行逆向复原，以得到对应的模拟手势深度图(700)加入到所述训练集中；其中，所述反卷积神经网络具有与所述卷积神经网络完全对称的架构；

S4、对步骤S3中选取的各手势前景图，分别将各自的所述实际标签图与所述预测标签图进行比较求偏差，并依据所述偏差更新所述全卷积神经网络的训练参数；

S5、重复步骤S3和S4以进行不断的迭代，直至所述偏差不再下降时，保存当前训练参数作为全卷积神经网络的最终参数；其中，每迭代预定次数，则选取测试集中的手势前景图输入到所述全卷积神经网络进行测试；

S6、将待估计的手势深度图输入到具有所述最终参数的全卷积神经网络中，输出所述待估计的手势深度图所对应的标签图。

2.如权利要求1所述的三维手势姿态估计方法，其特征在于：所述全卷积神经网络包括卷积层和池化层，所述反卷积神经网络包括反卷积层和反池化层；其中，所述卷积层与所述反卷积层具有相同的卷积核尺寸和互逆的参数；所述池化层和所述反池化层具有相同大小的池化区域和步长。

3.如权利要求1所述的三维手势姿态估计方法，其特征在于：步骤S1具体包括：

S11、采用深度相机拍摄不同人的多张手势深度图并进行仿射变换处理，以使所述多张手势深度图具有相同的尺寸；

S12、对步骤S11得到的手势深度图，采用随机森林分类器进行手势前景与背景的分割，得到多张手势前景图；

S13、将步骤S12得到的多张手势前景图随机分为数量较多的训练集和数量较少的测试集。

4.如权利要求1所述的三维手势姿态估计方法，其特征在于：步骤S5中进行测试的具体过程是：选取测试集中的部分手势前景图作为测试图片，输入到所述全卷积神经网络中，对应输出测试图片的预测标签图；将测试图片的预测标签图与对应的实际标签图进行比较求偏差，以评价全卷积神经网络当前的训练效果。

5.如权利要求1所述的三维手势姿态估计方法，其特征在于：所述预定的手势模型图绘示有标注出所述参考辨识点的人手模型，所述参考辨识点至少包括手指关节点、指尖点、手腕关键点以及手掌中心点。

6.如权利要求1所述的三维手势姿态估计方法，其特征在于：步骤S2中的所述坐标值为二维坐标值。

7.如权利要求1至6任一项所述的三维手势姿态估计方法，其特征在于：

步骤S4中所述偏差为Error，计算方法如下：

其中：

J′为预测标签图中坐标点j_i′的集合，由(j₁′,j₂′,...,j_n′)构成，j_i′＝(x_i′,y_i′,d_i′)；

J为实际标签图中坐标点j_i的集合，由(j₁,j₂,...,j_n)构成，j_i＝(x_i,y_i,d_i)；

上述n为坐标点的数量，i∈1,2,…,n；x、y为横、纵坐标，d为深度值；

依据所述偏差更新所述全卷积神经网络的训练参数的方法为：ω为当前训练参数，ω′为更新的训练参数。