[发明专利]一种人体关键点识别方法、装置及电子设备

权利要求书

1.一种人体关键点识别方法，其特征在于，包括：

获取待识别人体关键点的目标图像；

将所述目标图像输入至预先训练完成的神经网络模型，以使所述神经网络模型提取所述目标图像的特征矩阵，基于所述目标图像的特征矩阵识别所述目标图像中人体关键点的二维坐标，并基于所述目标图像的特征矩阵和所述目标图像中人体关键点的二维坐标，识别所述目标图像中人体关键点的三维坐标；

获取所述神经网络模型所识别到的三维坐标，作为所述目标图像的人体关键点识别结果；

其中，所述神经网络模型为基于样本图像以及所述样本图像中人体关键点的真值三维坐标，所训练得到的模型；

其中，所述神经网络模型包括：特征提取网络、第一识别网络和第二识别网络；所述特征提取网络用于提取所述样本图像的特征矩阵，所述第一识别网络用于基于所述样本图像的特征矩阵，识别所述样本图像中人体关键点的二维坐标，所述第二识别网络用于基于所述样本图像的特征矩阵，以及所述样本图像中人体关键点的二维坐标，识别所述样本图像中人体关键点的三维坐标。

2.根据权利要求1所述的方法，其特征在于，所述神经网络模型的训练过程包括：

从样本图像库中，获取多个第一样本图像和多个第二样本图像；其中，所述第一样本图像为标注有人体关键点的真值二维坐标的样本图像，所述第二样本图像为标注有人体关键点的真值三维坐标的样本图像；

针对所述神经网络模型中的目标子网络，基于所述多个第一样本图像和每个第一样本图像中人体关键点的真值二维坐标，对所述目标子网络进行训练，得到所述目标子网络的网络参数；其中，所述目标子网络包括所述特征提取网络和第一识别网络；

在完成对所述目标子网络的训练之后，在训练得到的所述目标子网络的网络参数的基础上，基于所述多个第二样本图像和每个第二样本图像中人体关键点的真值三维坐标，对所述神经网络模型进行训练，得到用于识别人体关键点的三维坐标的神经网络模型。

3.根据权利要求2所述的方法，其特征在于，针对所述神经网络模型中的目标子网络，基于所述多个第一样本图像和每个第一样本图像中人体关键点的真值二维坐标，对所述目标子网络进行训练，得到所述目标子网络的网络参数，包括：

针对所述神经网络模型中的目标子网络，将每个第一样本图像输入至所述目标子网络，得到每个第一样本图像中人体关键点的预测二维坐标；

基于每个第一样本图像中人体关键点的真值二维坐标和预测二维坐标的差异，计算第一类损失值；

基于所述第一类损失值，判断所述目标子网络是否收敛，如果判断结果为是，结束训练，得到训练完成的所述目标子网络的网络参数；否则，调整所述目标子网络的网络参数，继续训练所述目标子网络。

4.根据权利要求2所述的方法，其特征在于，所述基于所述多个第二样本图像和每个第二样本图像中人体关键点的真值三维坐标，对所述神经网络模型进行训练，包括：

将每个第二样本图像输入至所述神经网络模型，得到每个第二样本图像中人体关键点的预测三维坐标；

基于每个第二样本图像中人体关键点的真值三维坐标和预测三维坐标的差异，计算第二类损失值；

基于所述第二类损失值，判断所述神经网络模型是否收敛，如果判断结果为是，结束训练，得到训练完成的所述神经网络模型；否则，调整所述神经网络模型中所述第二识别网络的网络参数，继续训练所述神经网络模型。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述第二识别网络包括：

顺次连接的浅层网络组和第三浅网络，所述浅层网络组包括作为并列分支的第一浅层网络和第二浅层网络；

所述第一浅层网络用于对所述特征提取网络所提取的特征矩阵进行编码，得到第一编码信息；

所述第二浅层网络用于对所述第一识别网络输出的人体关键点的二维坐标进行编码，第二编码信息；

所述第三浅层网络用于对所述第一编码信息和第二编码信息进行信息融合，并基于融合信息，生成所述样本图像中人体关键点的三维坐标。