[发明专利]手部关键点的识别模型训练方法、识别方法及设备

权利要求书

1.一种手部关键点的识别模型训练方法，其特征在于，所述方法包括：

通过循环生成对抗网络Cycle-GAN模型，将样本虚拟图像转化为仿真图像，所述样本虚拟图像是三维建模生成的图像，且所述样本虚拟图像包含手部关键点对应的关键点坐标，所述仿真图像用于模仿真实场景下采集的图像；

提取所述仿真图像中的手部图像；

构建手部关键点识别模型，所述手部关键点识别模型用于根据输入的真实图像输出所述真实图像中手部的手部关键点坐标，所述手部关键点识别模型包括二维识别分支和三维识别分支，所述二维识别分支包括i层二维残差层和卷积层，所述三维识别分支包括i层三维残差层和全连接层，且前j层二维残差层与前j层三维残差层耦合，2≤j≤i-1，i和j为整数；

将所述手部图像分别输入所述二维识别分支和所述三维识别分支；

对第k层二维残差层输出的特征图和第k层三维残差层输出的特征图进行相加操作，1≤k≤j-1；

将相加后的特征图输入第k+1层二维残差层和第k+1层三维残差层；

通过第j+1至第i层二维残差层以及所述卷积层对所述第j层二维残差层输出的特征图进行处理，得到二维识别结果；

通过第j+1至第i层三维残差层以及所述全连接层对所述第j层三维残差层输出的特征图进行处理，得到三维识别结果；

根据所述二维识别结果和所述关键点坐标计算二维识别损失；

根据所述三维识别结果和所述关键点坐标计算三维识别损失；

根据所述二维识别损失和所述三维识别损失反向训练所述手部关键点识别模型。

2.根据权利要求1所述的方法，其特征在于，所述通过Cycle-GAN模型，将样本虚拟图像转化为仿真图像之前，所述方法还包括：

根据样本真实图像和所述样本虚拟图像训练所述Cycle-GAN模型，所述样本真实图像是真实场景下采集的图像。

3.根据权利要求2所述的方法，其特征在于，所述根据样本真实图像和所述样本虚拟图像训练所述Cycle-GAN模型，包括：

构建第一生成器和第二生成器，所述第一生成器用于生成所述仿真图像，所述第二生成器用于生成仿虚拟图像，所述仿虚拟图像用于模仿所述样本虚拟图像的风格；

构建第一判别器和第二判别器，所述第一判别器用于判别所述样本虚拟图像和所述仿虚拟图像，所述第二判别器用于判别所述样本真实图像和所述仿真图像；

根据所述第一生成器、所述第二生成器、所述第一判别器和所述第二判别器构建所述Cycle-GAN模型；

根据所述样本真实图像和所述样本虚拟图像计算所述Cycle-GAN模型的损失，所述Cycle-GAN模型的损失包括生成器损失、判别器损失和循环损失；

根据所述Cycle-GAN模型的损失反向训练所述Cycle-GAN模型。

4.根据权利要求3所述的方法，其特征在于，所述通过Cycle-GAN模型，将样本虚拟图像转化为仿真图像，包括：

通过所述Cycle-GAN模型中的所述第一生成器，将所述样本虚拟图像转化为所述仿真图像。

5.根据权利要求1至4任一所述的方法，其特征在于，所述提取所述仿真图像中的手部图像，包括：

将所述仿真图像输入手势分割神经网络，输出手部置信区域，所述手势分割神经网络根据标注有手部区域的图像训练得到；

根据所述手部置信区域，从所述仿真图像中提取手部图像。

6.根据权利要求5所述的方法，其特征在于，所述手势分割神经网络包括n层卷积层和n层反卷积层，n≥2，n为整数；

所述将所述仿真图像输入手势分割神经网络，输出手部置信区域，包括：

通过所述n层卷积层对所述仿真图像进行处理，得到所述仿真图像对应的中间特征图；

通过所述n层反卷积层对所述中间特征图进行处理，得到所述仿真图像对应的目标特征图；

根据所述目标特征图生成概率矩阵，所述概率矩阵用于表征所述仿真图像中各个像素点是手部的概率；

对所述概率矩阵进行二值化处理，输出所述手部区域对应的热图，所述热图用于指示所述仿真图像中的所述手部置信区域。