[发明专利]手势识别方法、装置、电子设备及存储介质

说明书

本申请示出了一种手势识别方法、装置、电子设备及存储介质，其中手势识别方法包括：获取手部图像；采用特征映射模型，提取手部的第一标准特征；特征映射模型是根据合成图像样本和真实图像样本中手部的第二标准特征预先训练得到的；对第一标准特征进行处理，获得手部多个关键点的三维坐标；根据各关键点的三维坐标，确定手部的姿势。该方法由于采用合成图像与真实图像中手部的共同特征进行模型训练，在标准特征层面消除了合成图像与真实图像之间的差异，从而可以提升弱监督情形下手势识别的准确率；并且该方法不需要手势完全一致的合成图像样本与真实图像样本，放宽了对训练数据集的要求；该方法还适用于彩色图像的手势识别，应用面更广泛。

技术领域

本申请涉及计算机技术领域，尤其涉及一种手势识别方法、装置、电子设备及存储介质。

背景技术

手势识别即人手姿态估计，是指在包含人手的图像中预测人手关键点的三维坐标。现有的人手姿态估计技术中，由于深度歧义性(多个三维坐标可以映射到同一二维坐标)，以及手部姿态灵活多变导致的自遮挡现象十分严重，使得直接在图像上进行三维关键点标注十分困难，因此真实情形下的人手数据集往往没有三维坐标标注。随着渲染技术的发展，使用渲染器合成的人手图像往往数量充足而且标注完善，但是合成的人手与真实场景的人手在皮肤和背景上差距都比较大，因此仅根据合成数据集训练得到的手势识别模型泛化能力较差。

为了缓解真实图像标注困难这个问题，通常做法是采用弱监督人手姿态估计方法，即利用合成数据与真实数据联合训练来提升真实场景姿态估计的准确率。现有的弱监督方法会通过合成数据学习二维到三维的映射关系，并将这种关系应用于真实场景，同时使用易于获得的深度图来约束深度预测的范围，降低深度歧义性的影响。然而，由于合成数据与真实数据具有较大的差异，仅仅深度图约束不足以消除这种差异，因而对三维姿态估计准确率的提升也有限。

发明内容

为克服相关技术中存在的问题，本申请提供一种手势识别方法、装置、电子设备及存储介质。

根据本申请的第一方面，提供一种手势识别方法，所述方法包括：

获取手部图像；

采用特征映射模型，提取所述手部图像中手部的第一标准特征；所述特征映射模型是根据合成图像样本和真实图像样本中手部的第二标准特征预先训练得到的；

对所述第一标准特征进行处理，获得所述手部多个关键点的三维坐标；

根据各所述关键点的三维坐标，确定所述手部的姿势。

在一个可选的实现方式中，所述第一标准特征和所述第二标准特征包括手部骨架结构和手部骨骼相对长度中至少一种。

在一个可选的实现方式中，在所述采用特征映射模型，提取所述手部的第一标准特征的步骤之前，还包括：获得所述特征映射模型；

所述获得所述特征映射模型的步骤，包括：

获取所述合成图像样本以及所述真实图像样本；

提取所述合成图像样本的第一特征以及所述真实图像样本的第二特征；

计算所述第一特征与所述第二特征之间的距离；

当所述距离小于或等于预设阈值时，确定所述第一特征和所述第二特征为第二标准特征；

根据所述第一特征、所述第二特征以及所述第二标准特征进行模型训练，得到所述特征映射模型。

在一个可选的实现方式中，所述对所述第一标准特征进行处理，获得所述手部多个关键点的三维坐标的步骤，包括：

采用预先训练得到的坐标回归模型，对所述第一标准特征进行处理，得到所述手部多个关键点的第一像素坐标和第一深度坐标，所述第一深度坐标为归一化后的相对深度；