[发明专利]一种基于神经网络的三维手势关键点检测方法和系统

权利要求书

1.一种基于神经网络的三维手势关键点检测方法，其特征在于，包括以下步骤：

(1)获取手势数据集；

(2)提取步骤(1)中获取的手势数据集中的一幅图像，并将该图像输入训练好的第一神经网络模型中，以得到手势热图；

(3)利用图像分割算法从步骤(2)中得到的手势热图中提取手势区域坐标，并从步骤(2)中提取的图像中分割出与提取的该手势区域坐标对应的手势区域，对该手势区域进行重采样；

(4)将步骤(3)重采样后的手势区域输入训练好的第二神经网络模型中，以得到对应于多个二维手势关键点的空域位置置信图；

(5)将步骤(4)中得到的每个空域位置置信图中二维手势关键点的绝对坐标转换为相对坐标；

(6)将步骤(5)得到的每个空域位置置信图中二维手势关键点的相对坐标输入训练好的第三神经网络模型中，以得到对应的三维手势关键点的空域位置坐标。

2.根据权利要求1所述的三维手势关键点检测方法，其特征在于，

第一神经网络模型包括多个卷积层集合、以及至少一个池化层，单个池化层连接在两个相邻的卷积层集合之间；

卷积层集合的数量是2到7个；

池化层的数量是1到6个；

第一神经网络模型的损失函数是图像中每个像素点在第一神经网络模型中的类别预测与该像素点在手势数据集中的真实类别之间的交叉熵。

3.根据权利要求1所述的三维手势关键点检测方法，其特征在于，

图像分割算法是基于阈值的图像分割算法、基于边缘的图像分割算法、基于聚类分析的图像分割算法、或基于小波变换的图像分割算法；

重采样方法是最邻近法、双线性插值法、或双三次插值法。

4.根据权利要求1所述的三维手势关键点检测方法，其特征在于，

第二神经网络模型包括多个卷积层集合、以及至少一个池化层，单个池化层连接在两个相邻的卷积层集合之间；

卷积层集合的数量是2到7个；

池化层的数量是1到6个；

第二神经网络模型的损失函数定义为预测的手势关键点位置与真实的手势关键点位置的L2范数。

5.根据权利要求1所述的三维手势关键点检测方法，其特征在于，步骤(5)具体为：

首先，对二维绝对坐标进行归一化处理，以得到归一化后的二维坐标W_i^norm：

其中s为步骤(2)中提取的图像中食指第一指节的长度，W_i＝(X_i，Y_i)，W_i表示手势关键点的二维绝对坐标，且i＝[1，n]，n为步骤(4)中得到的手势关键点的数量；

随后，根据归一化后的二维坐标得到对应的相对坐标W_i^rel，具体采用以下公式：

其中表示步骤(2)中提取的图像中掌心的二维归一化坐标。

6.根据权利要求1所述的三维手势关键点检测方法，其特征在于，

第三神经网络模型是由两路构成，每一路均包括一个卷积层集合、一个重塑层、多个丢弃层、以及多个全连接层，两路最终的输出结果就是三维手势关键点的空域位置坐标；

多个全连接层彼此顺次连接，重塑层连接在最后一个卷积层与第一个全连接层之间，任意两个相邻的全连接层通过丢弃层连接；

第三神经网络模型中第一路的损失函数定义为预测的手势关键点的三维坐标和真实的手势关键点的坐标的L2范数，第三神经网络模型中第二路的损失函数也定义为预测的视点的三维坐标和真实的视点的三维坐标的L2范数。

7.根据权利要求1至6中任意一项所述的三维手势关键点检测方法，其特征在于，

池化层所使用的池化方法是平均池化法或者最大池化法；

池化层的核大小为a*a，步长为b，其中a的取值是2到10之间的自然数，b为1到7之间的自然数。