[发明专利]手势识别方法、装置、设备、存储介质以及程序产品

权利要求书

1.一种手势识别方法，包括：

获取手部图像；

将所述手部图像输入至预先训练的手部处理模型所包括的手势识别模型，得到手势识别结果，其中，所述手部处理模型还包括手部检测模型，所述手部检测模型用于对所述手部图像所在的原始图像进行手部检测，所述手势识别模型用于融合其提取的手部图像特征和所述手部检测模型所提取的原始图像特征所包括的手部图像区域特征，以及根据融合结果生成手势识别结果。

2.根据权利要求1所述的方法，其中，所述获取手部图像，包括：

将所述原始图像输入至所述手部检测模型，得到用于指示所述原始图像中手部图像区域的所在位置的手部检测结果；

根据所述手部检测结果，生成所述手部图像。

3.根据权利要求2所述的方法，其中，所述手部检测模型所提取的原始图像特征所包括的手部图像区域特征通过如下步骤得到：

根据所述手部检测结果，从所述原始图像特征中提取所述手部图像区域特征。

4.根据权利要求1-3之一所述的方法，其中，所述手部检测模型包括第一特征提取网络和第二特征提取网络，其中，所述第一特征提取网络用于对所述原始图像进行特征提取，所述第二特征提取网络用于对所述第一特征提取网络输出的特征提取结果进行特征提取；以及

所述手部检测模型用于融合所述第一特征提取网络的特征提取结果和所述第二特征提取网络的特征提取结果，以及根据融合结果生成手部检测结果。

5.根据权利要求1-3之一所述的方法，其中，所述手部检测结果包括手部热图，其中，所述手部热图用于指示所述原始图像中手部图像区域的所在位置。

6.根据权利要求1-3之一所述的方法，其中，所述手部处理模型通过如下步骤训练得到：

获取训练样本集，其中，所述训练样本集中的训练样本包括原始图像、原始图像所包括的手部图像、原始图像对应的手部检测结果和手部图像对应的手势识别结果；

获取初始手部处理模型，其中，所述初始手部处理模型包括初始手势识别模型和初始手部检测模型；

将所述训练样本集中训练样本包括的原始图像输入至所述初始手部检测模型，以及将手部图像输入至所述初始手势识别模型，且将原始图像对应的手部检测结果作为所述初始手部检测模型的期望输出，将手部图像对应的手势识别结果作为所述初始手势识别模型的期望输出，利用机器学习的方法，训练得到手部处理模型。

7.一种手势识别装置，包括：

图像获取模块，被配置成获取手部图像；

识别模块，被配置成将所述手部图像输入至预先训练的手部处理模型所包括的手势识别模型，得到手势识别结果，其中，所述手部处理模型还包括手部检测模型，所述手部检测模型用于对所述手部图像所在的原始图像进行手部检测，所述手势识别模型用于融合其提取的手部图像特征和所述手部检测模型所提取的原始图像特征所包括的手部图像区域特征，以及根据融合结果生成手势识别结果。

8.根据权利要求7所述的装置，其中，所述图像获取模块进一步被配置成：

将所述原始图像输入至所述手部检测模型，得到用于指示所述原始图像中手部图像区域的所在位置的手部检测结果；

根据所述手部检测结果，生成所述手部图像。

9.根据权利要求8所述的装置，其中，所述手部检测模型所提取的原始图像特征所包括的手部图像区域特征通过如下步骤得到：

根据所述手部检测结果，从所述原始图像特征中提取所述手部图像区域特征。

10.根据权利要求7-9之一所述的装置，其中，所述手部检测模型包括第一特征提取网络和第二特征提取网络，其中，所述第一特征提取网络用于对所述原始图像进行特征提取，所述第二特征提取网络用于对所述第一特征提取网络输出的特征提取结果进行特征提取；以及

所述手部检测模型用于融合所述第一特征提取网络的特征提取结果和所述第二特征提取网络的特征提取结果，以及根据融合结果生成手部检测结果。