[发明专利]手部三维模型的重建方法、装置、电子设备及存储介质

权利要求书

1.一种手部三维模型的重建方法，其特征在于，该方法包括：

通过单个RGBD相机采集目标对象的手部区域，得到所述手部区域的对应的RGB图像和深度图像；其中，所述手部区域包括手心区域和手背区域；

根据所述RGB图像和深度图像，确定所述手部区域中手部关键点的三维坐标信息；并基于所述手部关键点的三维坐标信息进行几何标定，得到所述手部区域的用于表示手部几何轮廓的形状参数；

从所述RGB图像中提取所述手部区域的纹理，生成所述手部区域的皮肤纹理图；

根据所述形状参数以及皮肤纹理图，生成手部三维模型。

2.如权利要求1所述的方法，其特征在于，所述确定所述手部区域中手部关键点的三维坐标信息，包括：

根据所述RGBD相机的内部参数和外部参数，将所述RGB图像对齐到对应的所述深度图像，得到所述手部区域的与所述深度图像对齐的目标RGB图像；

根据所述手部关键点在所述目标RGB图像中的位置信息，以及所述手部关键点在所述深度图像中的深度信息，确定所述手部关键点的三维坐标信息。

3.如权利要求2所述的方法，其特征在于，所述根据所述RGBD相机的内部参数和外部参数，将所述RGB图像对齐到所述深度图像，得到所述手部区域对应的与所述深度图像对齐的目标RGB图像，包括：

针对所述深度图像，根据所述RGBD相机的深度摄像头的内部参数以及所述深度图像中像素点对应的深度信息，确定所述像素点在所述深度摄像头对应的相机坐标系下的三维坐标信息；根据所述深度摄像头的外部参数和RGB摄像头的外部参数，将所述深度摄像头对应的相机坐标系下的三维坐标信息转换为所述RGB摄像头对应的相机坐标系下的三维坐标信息；将转换后的所述三维坐标信息投影至所述RGB图像，获取所述像素点在所述RGB图像的投影点的RGB值；

根据所述深度图像中像素点的位置信息以及在对应的所述RGB图像的投影点的RGB值，生成与所述深度图像对齐的目标RGB图像。

4.如权利要求2所述的方法，其特征在于，在所述基于所述手部关键点的三维坐标信息进行几何标定，得到所述手部区域的用于表示手部几何轮廓的形状参数之后，还包括：

根据所述深度图像中的目标像素点的深度信息，以及目标像素点在所述目标RGB图像中的位置信息，构造用于表示手部区域三维信息的点云数据；

基于所述点云数据，对所述形状参数进行二次几何标定，得到调整后的形状参数；

所述根据所述形状参数以及皮肤纹理图，生成手部三维模型，包括：

根据所述调整后的形状参数以及皮肤纹理图，生成所述手部三维模型。

5.如权利要求1～4任一项所述的方法，其特征在于，所述从所述RGB图像的手部区域中提取所述手部区域的纹理，生成皮肤纹理图，包括：

基于椭圆皮肤模型，从所述RGB图像中提取所述手部区域的纹理，并根据提取出的所述纹理确定所述手部区域的皮肤的肤色；

根据确定出的所述肤色确定用于对纹理进行填充的纹理背景，将确定出的所述纹理背景与提取出的纹理进行融合，生成所述皮肤纹理图。

6.如权利要求1～4任一项所述的方法，其特征在于，所述根据手部区域对应的形状参数以及皮肤纹理图，生成手部三维模型，包括：

根据所述形状参数对预设的标准手部模型的顶点位置进行调整，生成手部几何模型；

根据所述皮肤纹理图对所述手部几何模型进行填充，得到包含手部皮肤纹理的手部三维模型。

7.一种手部三维模型的重建装置，其特征在于，包括：

获取单元，通过单个RGBD相机采集目标对象的手部区域，得到所述手部区域的对应的RGB图像和深度图像；其中，所述手部区域包括手心区域和手背区域；

处理单元，根据所述RGB图像和深度图像，确定所述手部区域中手部关键点的三维坐标信息；并基于所述手部关键点的三维坐标信息进行几何标定，得到所述手部区域的用于表示手部几何轮廓的形状参数；

生成单元，从所述RGB图像中提取所述手部区域的纹理，生成所述手部区域的皮肤纹理图；

重建单元，根据所述形状参数以及皮肤纹理图，生成手部三维模型。