[发明专利]用于确定手部三维关键点的方法及装置

说明书

本发明涉及用于确定手部三维关键点的方法、用于确定手部三维关键点的装置、计算机存储介质及计算机设备。按照本发明的一个方面提出一种用于确定手部三维关键点的方法，其包括下列步骤：获取手部的RGB图像和与所述手部的RGB图像对齐的手部的深度图像；根据获取的手部的RGB图像确定手部二维关键点的数据；至少基于确定的手部二维关键点的数据构建手部2.5D模型；以及至少基于所述手部的深度图像和构建的手部2.5D模型确定手部三维关键点的三维信息。

技术领域

本发明涉及计算机视觉领域，并且更具体地涉及一种用于确定手部三维关键点的方法、用于确定手部三维关键点的装置、计算机存储介质及计算机设备。

背景技术

近些年来，由于增强现实(Augmented Reality，AR)、虚拟现实(Virtual Reality，VR)、游戏和动画等三维应用场景的快速发展，使三维视觉的应用逐渐普及。手部三维关键点的确定在AR、VR、游戏和动画等领域中的三维重建过程中非常重要。

在目前的确定手部三维关键点的方法中，通常利用深度图像与RGB图像的对应关系将RGB图像中的二维关键点对应到深度图像，从而利用深度图像中的信息来计算三维关键点。然而，由于深度图像只能表示物体表面的深度，因此在深度图像中对于遮挡的手部关键点可能无法被标注或被标注错误。此外，还可以通过在手部绑定多自由度的传感器来进行三维定位。然而，该方法操作复杂且需要花费大量的硬件和人力资源，并且由于不同操作者多次操作传感器的固定位置难以保持一致，导致获取的三维关键点不准确。

发明内容

为了解决或至少缓解以上问题中的一个或多个，提供了以下技术方案。

按照本发明的第一方面，提供一种用于确定手部三维关键点的方法，所述方法包括下列步骤：获取手部的RGB图像和与所述手部的RGB图像对齐的手部的深度图像；根据获取的手部的RGB图像确定手部二维关键点的数据；至少基于确定的手部二维关键点的数据构建手部2.5D模型；以及至少基于所述手部的深度图像和构建的手部2.5D模型确定手部三维关键点的三维信息。

根据本发明一实施例所述的用于确定手部三维关键点的方法，其中获取手部的RGB图像和与所述手部的RGB图像对齐的手部的深度图像包括：利用RGB相机获取手部的RGB图像；利用深度相机获取手部的深度图像；以及根据所述RGB相机和所述深度相机的内参和外参，将所述手部的RGB图像与所述手部的深度图像对齐。

根据本发明一实施例或以上任一实施例的所述的用于确定手部三维关键点的方法，其中根据获取的手部的RGB图像确定手部二维关键点的数据包括：基于预先标注的手部二维关键点的数据训练第一卷积神经网络模型；使用训练的第一卷积神经网络模型处理所述获取的手部的RGB图像；以及基于所述训练的第一卷积神经网络模型的处理结果来确定手部二维关键点的数据，其中所述手部二维关键点的数据包括手部二维关键点的二维坐标信息、手部二维关键点的遮挡信息和手部二维关键点的热力图信息中的一个或多个。

根据本发明一实施例或以上任一实施例的所述的用于确定手部三维关键点的方法，其中至少基于确定的手部二维关键点的数据构建手部2.5D模型包括：基于所述手部二维关键点的数据中的手部二维关键点的热力图信息和所述手部的RGB图像确定手部的形状参数和手势参数；以及利用所述手部的形状参数和手势参数构建手部2.5D模型。

根据本发明一实施例或以上任一实施例的所述的用于确定手部三维关键点的方法，其中基于所述手部二维关键点的数据中的手部二维关键点的热力图信息和所述手部的RGB图像确定手部的形状参数和手势参数包括：将所述手部二维关键点的数据中的手部二维关键点的热力图信息和所述手部的RGB图像输入到多层感知神经网络模型；以及基于所述多层感知神经网络模型的输出结果确定手部的形状参数和手势参数。