[发明专利]三维关键点预测及深度学习模型训练方法、装置及设备

说明书

本申请实施例提供了三维关键点预测及深度学习模型训练方法、装置及设备，该方法包括：获取包含待检测对象的RGB图像；基于RGB图像，获取待检测对象的二维关键点信息及每个二维关键点对应的热度图像；利用预先训练的深度学习模型，对RGB图像、二维关键点信息及热度图像进行关联分析，得到待检测对象的三维关键点信息的预测值。利用预先训练的深度学习模型对待检测对象的RGB图像、二维关键点信息及热度图像进行关联分析，相比于仅对二维关键点信息进行分析，能够从RGB图像及热度图像中获取除二维关键点信息外的其他用于预测三维关键点信息的数据，从而能够提高三维关键点信息预测的准确性。

技术领域

本申请涉及计算机技术领域，特别是涉及三维关键点预测及深度学习模型训练方法、装置及设备。

背景技术

随着计算机视觉技术的发展，特别是深度学习算法的出现，基于图像的人工智能技术快速崛起。

3D(Dimension，维度)关键点的识别是计算机视觉领域中的一个分支算法，可用于人体意图识别，人体3D重建，人体动作捕捉等应用。随着深度学习算法的发展，2D关键点算法逐渐成熟，但在预测人体的3D关键点任务上，仍存在很多问题。

现有利用2D图像提取3D关键点的技术中，首先对2D图像进行分析获取2D关键点，然后通过将2D关键点的坐标信息输入到预先训练的深度学习算法中去预测3D关键点的位置坐标，但是因为2D关键点本身包含的信息有限，导致3D关键点信息的预测准确性差。

发明内容

本申请实施例的目的在于提供一种三维关键点预测及深度学习模型训练方法、装置及设备，以实现提高3D关键点信息预测的准确度。具体技术方案如下：

第一方面，本申请实施例提供了一种三维关键点预测方法，所述方法包括：

获取包含待检测对象的RGB图像；

基于所述RGB图像，获取所述待检测对象的二维关键点信息及每个二维关键点对应的热度图像；

利用预先训练的深度学习模型，对所述RGB图像、所述二维关键点信息及所述热度图像进行关联分析，得到所述待检测对象的三维关键点信息的预测值。

在一种可能的实施方式中，所述利用预先训练的深度学习模型，对所述RGB图像、所述二维关键点信息及所述热度图像进行关联分析，得到所述待检测对象的三维关键点信息的预测值，包括：

利用所述深度学习模型，对所述RGB图像的矩阵及所述热度图像的矩阵进行拼接，得到目标拼接矩阵；

对所述目标拼接矩阵进行特征提取，得到初始图像特征；

对所述初始图像特征进行维度变换，得到目标图像特征；

对所述二维关键点信息进行分析，得到目标关键点特征；

对所述目标图像特征及所述目标关键点特征进行关联分析，得到所述待检测对象的三维关键点信息的预测值。

第二方面，本申请实施例提供了一种深度学习模型训练方法，所述方法包括：

获取待训练的深度学习模型；

在预设样本集合中选取一组样本图像组，其中，所述样本图像组包括样本RGB图像、样本二维关键点信息、每个样本二维关键点对应的样本热度图像及真值三维关键点信息，所述样本二维关键点信息通过对所述样本RGB图像进行二维关键点检测得到；

利用所述深度学习模型，对当前选取的样本RGB图像、样本热度图像及样本二维关键点信息进行关联分析，得到预测三维关键点信息；

根据所述真值三维关键点信息及所述预设三维关键点信息，计算所述深度学习模型的当前损失；