[发明专利]手部关键点的识别模型训练方法、识别方法及设备

说明书

本申请公开了一种手部关键点的识别模型训练方法、识别方法及设备，属于手势识别领域。所述方法包括：通过Cycle‑GAN模型，将样本虚拟图像转化为仿真图像，样本虚拟图像是三维建模生成的图像，且样本虚拟图像包含手部关键点对应的关键点坐标，仿真图像用于模仿真实场景下采集的图像；提取仿真图像中的手部图像；根据仿真图像中的手部图像以及关键点坐标，训练手部关键点识别模型，手部关键点识别模型用于根据输入的真实图像输出所述真实图像中手部的手部关键点坐标。本申请实施例中，训练样本更加趋近于采集的真实图像，后续利用该手部关键点识别模型对真实图像进行手势识别的准确率更高。

技术领域

本申请实施例涉及手势识别技术领域，特别涉及一种手部关键点的识别模型训练方法、识别方法及设备。

背景技术

随着人工智能技术的不断成熟，越来越多的应用场景开始支持人机交互，而手势交互则是一种常见的人机交互方式。

手势交互的关键在于手部关键点识别。在一种手部关键点识别方式中，开发人员首先通过计算机构建手部的虚拟三维模型，并将虚拟三维模型的虚拟图像以及对应手部关键点的三维坐标数据作为训练样本，训练手部关键点识别模型。后续进行手势识别时，将通过摄像头采集的包含手势的真实图像输入手部关键点识别模型后，即可得到真实图像中各个手部关键点的三维坐标，从而识别出其中的手势。

然而，采用上述方法进行手势识别时，由于虚拟图像与真实图像的细节存在较大差异，比如，虚拟图像与真实图像中的手部皮肤以及背景存在差异，因此利用基于虚拟图像训练出的识别模型进行手势识别的准确率较低，影响手势交互的准确性。

发明内容

本申请实施例提供了一种手部关键点的识别模型训练方法、识别方法及设备，可以解决相关技术中基于虚拟图像训练出的识别模型进行手势识别的准确率较低，影响手势交互的准确性的问题。所述技术方案如下：

一方面，提供了一种手部关键点的识别模型训练方法，所述方法包括：

通过循环生成对抗网络(Cycle Generative Adversarial Networks，Cycle-GAN)模型，将样本虚拟图像转化为仿真图像，所述样本虚拟图像是三维建模生成的图像，且所述样本虚拟图像包含手部关键点对应的关键点坐标，所述仿真图像用于模仿真实场景下采集的图像；

提取所述仿真图像中的手部图像；

根据所述仿真图像中的手部图像以及所述关键点坐标，训练手部关键点识别模型，所述手部关键点识别模型用于根据输入的真实图像输出所述真实图像中手部的手部关键点坐标。

另一方面，提供了一种手部关键点的识别方法，所述方法包括：

采集真实图像，所述真实图像中包含手部图像；

提取所述真实图像中的所述手部图像；

将所述手部图像输入手部关键点识别模型，得到手部关键点坐标，所述手部关键点识别模型根据仿真图像以及所述仿真图像中手部图像的三维标注数据训练得到，所述仿真图像由Cycle-GAN模型根据样本虚拟图像生成，所述Cycle-GAN模型根据样本真实图像和所述样本虚拟图像训练生成，所述样本虚拟图像是三维建模生成的图像，且所述样本虚拟图像包含手部关键点对应的关键点坐标。

另一方面，提供了一种手部关键点识别的模型训练装置，所述装置包括：

转化模块，用于通过Cycle-GAN模型，将样本虚拟图像转化为仿真图像，所述样本虚拟图像是三维建模生成的图像，且所述样本虚拟图像包含手部关键点对应的关键点坐标，所述仿真图像用于模仿真实场景下采集的图像；

第一提取模块，用于提取所述仿真图像中的手部图像；