[发明专利]手势识别方法和手势识别模型的训练方法及相关装置

权利要求书

1.一种手势识别方法，其特征在于，包括：

提取待测图像的图像特征；

基于所述图像特征，分别提取第一子特征和第二子特征；其中，所述第一子特征包含手势类别相关的特征信息，所述第二子特征包含手部关键点相关的特征信息；

基于所述第一子特征和所述第二子特征进行预测，得到所述待测图像的手势类别。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一子特征和所述第二子特征进行预测，得到所述待测图像的手势类别，包括：

获取所述第二子特征中各通道的权重；其中，所述通道的权重表征对应所述通道的特征图对于手势识别的重要程度；

基于所述第二子特征中各通道的权重，对所述第二子特征中对应通道的特征图进行加权，得到与所述第二子特征通道数相同的第三子特征；

基于所述第一子特征和所述第三子特征，融合得到第四子特征；

基于所述第四子特征进行预测，得到所述待测图像的手势类别。

3.根据权利要求2所述的方法，其特征在于，所述获取所述第二子特征中各通道的权重，包括：

对所述第二子特征中各通道的特征图分别进行全局池化，得到维数与所述第二子特征的通道数相同的通道特征；

基于所述通道特征进行预测，得到所述第二子特征中各通道的权重。

4.根据权利要求2所述的方法，其特征在于，所述基于所述第四子特征进行预测，得到所述待测图像的手势类别，包括：

获取所述第四子特征中各通道的权重；

基于所述第四子特征中各通道的权重，对所述第四子特征中对应通道的特征图进行加权，得到与所述第四子特征通道数相同的第五子特征；

基于所述第五子特征进行预测，得到所述待测图像的手势类别。

5.根据权利要求1所述的方法，其特征在于，所述提取待测图像的图像特征，包括：

提取所述待测图像多种尺度的图像特征；

其中，对于每种所述尺度的图像特征，均执行所述基于所述图像特征，分别提取第一子特征和第二子特征的步骤，以在对应所述尺度识别得到所述待测图像的手势类别。

6.根据权利要求1所述的方法，其特征在于，所述待测图像的手势类别由手势识别模型预测得到，所述手势识别模型至少包括用于检测所述手势类别的分类网络和用于检测所述手部关键点的关键点检测网络，且所述分类网络和所述关键点检测网络两者共享所述图像特征；

其中，所述第一子特征由所述分类网络的特征提取部分基于所述图像特征提取得到，所述第二子特征由所述关键点检测网络的特征提取部分基于所述图像特征提取得到，且所述关键点检测网络的特征提取部分连接至所述分类网络的特征提取部分。

7.一种手势识别模型的训练方法，其特征在于，包括：

提取样本图像的样本图像特征；其中，所述样本图像标注有样本手势类别和手部关键点的第一样本位置；

基于所述样本图像特征，分别提取得到第一样本子特征和第二样本子特征；其中，所述第一样本子特征包含手势类别相关的特征信息，所述第二样本子特征包含手部关键点相关的特征信息；

基于所述第一样本子特征和所述第二样本子特征进行预测，得到所述样本图像的预测手势类别，并基于所述第二样本子特征进行预测，得到手部关键点的第一预测位置；

至少基于所述预测手势类别与所述样本手势类别之间的差异，以及所述第一预测位置和所述第一样本位置之间的差异，调整手势识别模型的网络参数。