[发明专利]用于确定手部三维关键点的方法及装置

权利要求书

1.一种用于确定手部三维关键点的方法，其特征在于，所述方法包括下列步骤：

获取手部的RGB图像和与所述手部的RGB图像对齐的手部的深度图像；

根据获取的手部的RGB图像确定手部二维关键点的数据；

至少基于确定的手部二维关键点的数据构建手部2.5D模型；以及

至少基于所述手部的深度图像和构建的手部2.5D模型确定手部三维关键点的三维信息。

2.根据权利要求1所述的方法，其中获取手部的RGB图像和与所述手部的RGB图像对齐的手部的深度图像包括：

利用RGB相机获取手部的RGB图像；

利用深度相机获取手部的深度图像；以及

根据所述RGB相机和所述深度相机的内参和外参，将所述手部的RGB图像与所述手部的深度图像对齐。

3.根据权利要求1所述的方法，其中根据获取的手部的RGB图像确定手部二维关键点的数据包括：

基于预先标注的手部二维关键点的数据训练第一卷积神经网络模型；

使用训练的第一卷积神经网络模型处理所述获取的手部的RGB图像；以及

基于所述训练的第一卷积神经网络模型的处理结果来确定手部二维关键点的数据，其中所述手部二维关键点的数据包括手部二维关键点的二维坐标信息、手部二维关键点的遮挡信息和手部二维关键点的热力图信息中的一个或多个。

4.根据权利要求1所述的方法，其中至少基于确定的手部二维关键点的数据构建手部2.5D模型包括：

基于所述手部二维关键点的数据中的手部二维关键点的热力图信息和所述手部的RGB图像确定手部的形状参数和手势参数；以及

利用所述手部的形状参数和手势参数构建手部2.5D模型。

5.根据权利要求4所述的方法，其中基于所述手部二维关键点的数据中的手部二维关键点的热力图信息和所述手部的RGB图像确定手部的形状参数和手势参数包括：

将所述手部二维关键点的数据中的手部二维关键点的热力图信息和所述手部的RGB图像输入到多层感知神经网络模型；以及

基于所述多层感知神经网络模型的输出结果确定手部的形状参数和手势参数。

6.根据权利要求4所述的方法，其中利用所述手部的形状参数和手势参数构建手部2.5D模型包括：

基于预先标注的手部2.5D关键点数据训练第二卷积神经网络模型；

使用训练的第二卷积神经网络模型处理所述手部的形状参数和手势参数；以及

基于所述训练的第二卷积神经网络模型的处理结果来构建对应于所述手部二维关键点的手部2.5D模型。

7.根据权利要求1所述的方法，其中至少基于所述手部的深度图像和构建的手部2.5D模型确定手部三维关键点的三维信息包括：

基于手部二维关键点的数据确定所述手部二维关键点中的可见关键点；

确定所述手部二维关键点中的可见关键点在所述手部的深度图像中的对应关键点的深度信息；以及

基于所述对应关键点的深度信息更新所述构建的手部2.5D模型中的所述手部二维关键点的深度信息，以确定手部三维关键点的三维信息,

其中所述方法进一步包括：

抛弃所述手部二维关键点中的可见关键点在所述手部的深度图像中的对应关键点中的异常点；

确定剩余的对应关键点的深度信息的均值；以及

将所述构建的手部2.5D模型中的手部二维关键点的深度信息更新为所述构建的手部2.5D模型中的手部二维关键点的深度信息与所述剩余的对应关键点的深度信息的均值之和,

其中通过以下方式确定所述手部二维关键点中的可见关键点在所述手部的深度图像中的对应关键点中的异常点：

确定所述手部二维关键点中的可见关键点在所述手部的深度图像中的对应关键点的均值；

确定每个对应关键点与所述对应关键点的均值的偏差值；以及

响应于确定对应关键点与所述对应关键点的均值的偏差值大于预设值而确定所述对应关键点为异常点。