[发明专利]一种人体关键点的三维坐标的估计方法及装置

说明书

本申请涉及计算机视觉技术领域，尤其涉及一种人体关键点的三维坐标的估计方法及装置，从待识别图像中检测获得各包含有人体关键点的热力图，以及各人体关键点的二维坐标；分别针对所述各人体关键点，将任意一人体关键点的关键点热力图和所述待识别图像输入至已训练的深度检测模型，基于关键点热力图和待识别图像的关键点特征确定该人体关键点的深度信息；根据所述各人体关键点的深度信息和对应的二维坐标，确定所述各人体关键点的三维坐标；根据所述各人体关键点的深度信息和对应的二维坐标，以及预设的人体结构信息，确定各人体关键点的三维坐标，能够提高人体动作识别时对人体关键点的三维坐标检测的准确性。

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种人体关键点的三维坐标的估计方法及装置。

背景技术

目前，人体动作识别是计算机视觉领域中最具有挑战性的研究方向之一，需要根据人体中包含的各人体关键点的三维坐标从而实现对人体动作的识别，因此，如何能够获得人体关键点的三维坐标，成为了一个亟待解决的问题。

相关技术中，在获得人体关键点的三维坐标时，可以基于神经网络搜索(NeuralArchitecture Search，NAS)确定出神经网络模型，并通过确定出的神经网络模型直接将人体关键点的二维坐标转换为三维坐标。而直接将二维坐标转换为三维坐标时，缺少一些空间信息，难以对人体关键点在三维空间中的深度信息进行预测，会造成深度的歧义性，例如，将“手在身体前面”错误预测为“手在身体后面”，这样，在对人体关键点的三维坐标进行检测时，会降低检测的准确性。

发明内容

本申请实施例提供一种人体关键点的三维坐标的估计方法及装置，以提高对人体关键点的三维坐标检测的准确性。

本申请实施例提供的具体技术方案如下：

一种人体关键点的三维坐标的估计方法，包括：

从待识别图像中检测获得各包含有人体关键点的热力图，以及各人体关键点的二维坐标，其中，所述待识别图像中包含有人体，所述人体中包含有各人体关键点；

分别针对所述各人体关键点，将任意一人体关键点的热力图和所述待识别图像输入至已训练的深度检测模型，确定该人体关键点的关键点特征，并基于所述关键点特征确定该人体关键点的深度信息，其中，所述深度检测模型为根据各待识别图像样本、对应的各热力图样本，以及各待识别图像样本中的各人体关键点的真实深度信息通过迭代训练获得的，所述深度信息表征该人体关键点位于预设的人体标定点的前侧或后侧；

根据所述各人体关键点的深度信息和对应的二维坐标，确定所述各人体关键点的三维坐标。

可选的，从待识别图像中检测获得各包含有人体关键点的热力图，以及各人体关键点的二维坐标，具体包括：

基于已训练的二维坐标识别模型，以待识别图像为输入参数，通过预设的图像转换方式，将所述待识别图像转换为预设数张关键点热力图，并分别从各热力图包含的各热力值中选取最大热力值对应的像素点，作为所述待识别图像的人体关键点，并获取各人体关键点在待识别图像中的二维坐标。

可选的，所述二维坐标识别模型的训练方式为：

获取第一图像样本集，其中，所述第一图像样本集中包含有各待识别图像样本和对应的样本标签，所述样本标签表征待识别图像样本中包含的各人体关键点的真实二维坐标；

分别针对所述各待识别图像样本，将任意一张待识别图像样本输入至初始的二维坐标识别模型中，确定该待识别图像样本中的各人体关键点的预测二维坐标，分别计算各预测二维坐标与对应的样本标签之间的误差值，并调整所述初始的二维坐标识别模型的各参数，直至计算出的误差值最小化，获得训练完成的所述二维坐标识别模型。

可选的，所述深度检测模型的训练方式为：