[发明专利]手势识别方法、装置、电子设备及存储介质

权利要求书

1.一种手势识别方法，其特征在于，所述方法包括：

获取手部图像；

采用特征映射模型，提取所述手部图像中手部的第一标准特征；所述特征映射模型是根据合成图像样本和真实图像样本中手部的第二标准特征预先训练得到的；

对所述第一标准特征进行处理，获得所述手部多个关键点的三维坐标；

根据各所述关键点的三维坐标，确定所述手部的姿势；

其中，在所述采用特征映射模型，提取所述手部的第一标准特征的步骤之前，还包括：获得所述特征映射模型；

所述获得所述特征映射模型的步骤，包括：

获取所述合成图像样本以及所述真实图像样本；

提取所述合成图像样本的第一特征以及所述真实图像样本的第二特征；

计算所述第一特征与所述第二特征之间的距离；

当所述距离小于或等于预设阈值时，确定所述第一特征和所述第二特征为第二标准特征；

根据所述第一特征、所述第二特征以及所述第二标准特征进行模型训练，得到所述特征映射模型。

2.根据权利要求1所述的手势识别方法，其特征在于，所述第一标准特征和所述第二标准特征包括手部骨架结构和手部骨骼相对长度中至少一种。

3.根据权利要求1所述的手势识别方法，其特征在于，所述对所述第一标准特征进行处理，获得所述手部多个关键点的三维坐标的步骤，包括：

采用预先训练得到的坐标回归模型，对所述第一标准特征进行处理，得到所述手部多个关键点的第一像素坐标和第一深度坐标，所述第一深度坐标为归一化后的相对深度；

根据各所述关键点的第一像素坐标、第一深度坐标以及预先设定的相机参数和根节点坐标，得到各所述关键点的三维坐标。

4.根据权利要求3所述的手势识别方法，其特征在于，在所述采用预先训练得到的坐标回归模型，对所述第一标准特征进行处理，得到所述手部多个关键点的第一像素坐标和第一深度坐标的步骤之前，还包括：获得所述坐标回归模型；

所述获得所述坐标回归模型的步骤，包括：

获取所述合成图像样本的手部关键点三维坐标，以及所述真实图像样本的手部关键点二维坐标；

对所述第二标准特征进行处理，得到各所述合成图像样本的手部关键点的第二像素坐标和第二深度坐标，以及各所述真实图像样本的手部关键点的第三像素坐标和第三深度坐标；

根据所述第二像素坐标、所述第二深度坐标、所述第三像素坐标、所述第三深度坐标、所述合成图像样本的手部关键点三维坐标以及所述真实图像样本的手部关键点二维坐标进行模型训练，得到所述坐标回归模型。

5.根据权利要求4所述的手势识别方法，其特征在于，在所述根据所述第二像素坐标、所述第二深度坐标、所述第三像素坐标、所述第三深度坐标、所述合成图像样本的手部关键点三维坐标以及所述真实图像样本的手部关键点二维坐标进行模型训练，得到所述坐标回归模型的步骤之前，还包括：

采用预先训练好的坐标优化模型，对所述第二像素坐标、所述第二深度坐标、所述第三像素坐标以及所述第三深度坐标进行优化。

6.根据权利要求5所述的手势识别方法，其特征在于，在所述采用预先训练好的坐标优化模型，对所述第二像素坐标、所述第二深度坐标、所述第三像素坐标以及所述第三深度坐标进行优化的步骤之前，还包括：获得所述坐标优化模型；

所述获得所述坐标优化模型的步骤，包括：

获取所述合成图像样本的第一深度图以及所述真实图像样本的第二深度图；

对所述第二像素坐标和所述第二深度坐标进行上采样处理，得到第三深度图；

对所述第三像素坐标和所述第三深度坐标进行上采样处理，得到第四深度图；

根据所述第一深度图、所述第二深度图、所述第三深度图、所述第四深度图进行模型训练，得到所述坐标优化模型。