[发明专利]一种基于RGB图像的三维重建方法

权利要求书

1.基于RGB图像的手部三维重建方法，其特征在于，具体包括下列步骤：

(1)数据集选择的探索研究：本发明选择的是利用RGB图像实现手部三维重建，通过对RGB图像进行训练，以便更好的获取手部特征，数据集是真实的数据集，还会有一些合成的数据集，以便达到精确的训练结果；

(2)手部检测：输入RGB图像，利用深度学习的手部检测算法去检测出图片中手部的位置，还会进行检测出单手、双手的操作，同时进行左右手的区分；

(3)特征生成：在完成手部检测的步骤时，本发明利用2.5D-Net神经网络生成2.5D热图，并提取低级特征，让二维关键点检测更加准确，以便生成更加精确的二维手部姿态估计，其次，把提取的低级特征放入到ResNet-50网络里来产生高级特征；

(4)手部三维重建：本发明利用图卷积神经网络实现手部三维重建，将生成的高级特征放入图卷积神经网络，在图卷积神经网络里估计手部网格的每个顶点坐标，将其以树的形式来存放，顶点坐标在图卷积神经网络里进行由粗糙到细化的图卷积操作，最后生成精确的手部三维网格来实现手部三维重建，本发明还可以利用生成的手部三维网格生成三维手部姿态估计。

2.根据权利要求1所述的基于RGB图像的手部三维重建方法，其特征在于，数据集的选择有真实的数据集，也有合成的数据集，数据集是RGB图像，而非RGB-D图像。

3.根据权利要求1所述的基于RGB图像的手部三维重建方法，其特征在于，利用深度学习的算法来完成手部检测。

4.根据权利要求1所述的基于RGB图像的手部三维重建方法，其特征在于，利用神经网络来完成手部特征提取，而非通过深度图像或关键点检测来完成手部特征提取。

5.根据权利要求1所述的基于RGB图像的手部三维重建方法，其特征在于，利用图卷积神经网络实现手部三维重建，而非二维姿态估计或三维姿态估计生成手部三维重建。