[发明专利]手势识别方法、装置、设备、存储介质以及程序产品

权利要求书

1.一种手势识别方法，包括：

获取手部图像；

将所述手部图像输入至预先训练的手势识别模型，得到手势识别结果，其中，所述手势识别模型用于融合其提取的手部图像特征与预先训练的手部关键点检测模型提取的手部图像特征，以及根据融合结果生成手势识别结果；

其中，所述手势识别模型和手部关键点检测模型包括相同的第一特征提取网络，所述第一特征提取网络用于对所述手部图像进行特征提取；所述手势识别模型还包括手势特征提取网络，所述手势特征提取网络用于对所述第一特征提取网络输出的特征提取结果进行手势特征提取，得到手部图像特征；

所述手部关键点检测模型还包括手部关键点特征提取网络，其中，所述手部关键点特征提取网络用于对所述第一特征提取网络输出的特征提取结果进行手部关键点特征提取，得到手部图像特征；所述手部关键点检测模型还包括第二特征提取网络，所述第二特征提取网络用于对所述手部关键点检测模型对应的手部图像特征融合结果进行特征提取；以及所述手部关键点检测模型用于融合所述第二特征提取网络的特征提取结果和所述第一特征提取网络的特征提取结果，以及根据融合结果生成手部关键点检测结果。

2.根据权利要求1所述的方法，其中，所述手部关键点检测模型用于融合其提取的手部图像特征与所述手势识别模型提取的手部图像特征，以及根据融合结果生成手部关键点检测结果。

3.根据权利要求2所述的方法，其中，所述手势识别模型包括第一融合控制网络，其中，所述第一融合控制网络用于生成所述手势识别模型和手部关键点检测模型分别提取的手部图像特征的融合比例。

4.根据权利要求3所述的方法，其中，所述手部关键点检测模型包括第二融合控制网络，其中，所述第二融合控制网络用于生成所述手部关键点检测模型和手势识别模型分别提取的手部图像特征的融合比例。

5.根据权利要求1-4之一所述的方法，其中，所述手部关键点检测结果包括手部关键点热图，其中，所述手部关键点热图用于指示手部关键点在其所在的手部图像中的位置。

6.一种手势识别装置，包括：

图像获取模块，被配置成获取手部图像；

识别模块，被配置成将所述手部图像输入至预先训练的手势识别模型，得到手势识别结果，其中，所述手势识别模型用于融合其提取的手部图像特征与预先训练的手部关键点检测模型提取的手部图像特征，以及根据融合结果生成手势识别结果；

其中，所述手势识别模型和手部关键点检测模型包括相同的第一特征提取网络，所述第一特征提取网络用于对所述手部图像进行特征提取；所述手势识别模型还包括手势特征提取网络，所述手势特征提取网络用于对所述第一特征提取网络输出的特征提取结果进行手势特征提取，得到手部图像特征；

所述手部关键点检测模型还包括手部关键点特征提取网络，其中，所述手部关键点特征提取网络用于对所述第一特征提取网络输出的特征提取结果进行手部关键点特征提取，得到手部图像特征；所述手部关键点检测模型还包括第二特征提取网络，所述第二特征提取网络用于对所述手部关键点检测模型对应的手部图像特征融合结果进行特征提取；以及所述手部关键点检测模型用于融合所述第二特征提取网络的特征提取结果和所述第一特征提取网络的特征提取结果，以及根据融合结果生成手部关键点检测结果。

7.根据权利要求6所述的装置，其中，所述手部关键点检测模型用于融合其提取的手部图像特征与所述手势识别模型提取的手部图像特征，以及根据融合结果生成手部关键点检测结果。

8.根据权利要求7所述的装置，其中，所述手势识别模型包括第一融合控制网络，其中，所述第一融合控制网络用于生成所述手势识别模型和手部关键点检测模型分别提取的手部图像特征的融合比例。

9.根据权利要求8所述的装置，其中，所述手部关键点检测模型包括第二融合控制网络，其中，所述第二融合控制网络用于生成所述手部关键点检测模型和手势识别模型分别提取的手部图像特征的融合比例。