[发明专利]手部姿态识别模型的训练方法、装置、设备及存储介质

权利要求书

1.一种手部姿态识别模型的训练方法，其特征在于，所述方法包括：

获取训练样本，所述训练样本包括样本手部图像和所述样本手部图像对应的样本手部姿态信息；其中，所述样本手部姿态信息包括所述样本手部图像中的n个手部关键点的真实位置信息，所述n为正整数；

根据所述n个手部关键点的真实位置信息，将所述n个手部关键点按关节结构进行连接得到m段肢体，所述m为正整数，所述肢体包括手掌肢体和手指肢体；

对于所述m段肢体中的第i段肢体，计算所述样本手部图像中的像素点到所述第i段肢体的距离，所述i为小于或等于所述m的正整数；

根据所述距离生成所述第i段肢体对应的置信度图谱，得到m段肢体分别对应的置信度图谱，其中，第i段肢体对应的置信度图谱中像素点的值，用于表征所述像素点属于所述第i段肢体的置信度；

根据所述m段肢体分别对应的置信度图谱，生成所述样本手部图像对应的合成手部分割图，所述合成手部分割图是指分割有所述样本手部图像中的手部区域和非手部区域的图像，所述合成手部分割图中像素点的值用于表征所述像素点属于肢体的置信度；

采用所述样本手部图像、所述合成手部分割图以及所述样本手部姿态信息，对所述手部姿态识别模型进行训练；其中，所述合成手部分割图作为所述手部姿态识别模型的训练过程中的标签信息。

2.根据权利要求1所述的方法，其特征在于，所述m段肢体包括a段所述手指肢体和b段所述手掌肢体，所述合成手部分割图包括合成手指分割子图、合成手掌分割子图和合成手部分割子图，所述a为小于所述m的正整数，所述b为小于所述m的正整数；

所述根据所述m段肢体分别对应的置信度图谱，生成所述合成手部分割图，包括：

将所述a段手指肢体中属于各个手指的手指肢体分别进行组合，得到各个手指分别对应的合成手指分割子图，其中，目标手指对应的合成手指分割子图是指分割有目标手指区域和非目标手指区域的图像；

将所述b段手掌肢体进行组合得到所述合成手掌分割子图，所述合成手掌分割子图是指分割有手掌区域和非手掌区域的图像；

将所述m段肢体进行组合得到所述合成手部分割子图，所述合成手部分割子图是指分割有手部区域和非手部区域的图像。

3.根据权利要求1至2任一项所述的方法，其特征在于，所述手部姿态识别模型包括特征提取部分、结构预测部分和姿态预测部分；

所述特征提取部分，用于提取所述样本手部图像的特征图；

所述结构预测部分，用于根据所述特征图获取预测手部分割图，所述预测手部分割图包括预测手指分割子图、预测手掌分割子图和预测手部分割子图；

所述姿态预测部分，用于根据所述特征图和所述预测手部分割图得到所述样本手部图像对应的预测手部姿态信息。

4.根据权利要求3所述的方法，其特征在于，所述采用所述样本手部图像、所述合成手部分割图以及所述样本手部姿态信息，对所述手部姿态识别模型进行训练，包括：

根据所述合成手部分割图和所述预测手部分割图，获取结构损失函数的值；

根据所述样本手部姿态信息和所述预测手部姿态信息，获取姿态损失函数的值；

根据所述结构损失函数的值和所述姿态损失函数的值获取目标损失函数的值；

通过所述目标损失函数的值，来调整所述手部姿态识别模型的参数。