[发明专利]基于双目RGB图像的手部深度及姿态估计方法

权利要求书

1.一种基于双目RGB图像的手部深度及姿态估计方法，其特征在于，包括以下步骤：

步骤1、数据获取及预处理；数据包含双目RGB图像及对应深度图标注和3D关节点标注，将数据集划分为训练集和测试集分别用于网络训练和预测；

步骤2、搭建基于双目RGB图像手部深度图重建网络；所述网络包括三个结构：特征提取结构、cost volume结构和视差预测结构；

所述特征提取结构使用卷积神经网络对输入的双目图像进行特征提取，得到左图特征图和右图特征图；

所述cost volume结构利用特征提取得到的左右特征图在视差维度上叠加，形成costvolume结构；

所述视差预测结构利用3DCNN网络从cost volume预测图像中每个像素点在每个视差等级上的概率，将每个视差等级与其对应概率相乘然后求和得到该像素点的视差值，预测每个像素点视差值后得到视差图；

步骤3、利用转换公式depth＝f·B/d将视差图转换为深度图；其中f为相机焦距，B为双目相机基线，即左右相机光心的距离，d为视差图，depth为转换后的深度图；

步骤4、搭建基于深度图手部关节点估计网络；所述关节点估计网络包括特征提取、特征融合和平均池化；所述特征提取部分对手部大拇指、食指、和其余三个手指进行三次特征提取；提取到的特征图经特征融合部分在通道维度上进行叠加融合；所述平均池化部分将融合后的特征图进行平均值池化，从而得到手部21个关节点的3D坐标；

步骤5、训练搭建的网络；在训练过程中采用先分阶段预训练然后端到端训练进行微调的方式；具体的，先训练步骤2中所述的基于双目RGB图像手部深度图重建网络作为预训练模型，然后端到端地训练步骤2中所述的基于双目RGB图像手部深度图重建网络和步骤4中所述的基于深度图手部关节点估计网络；

步骤6、使用步骤5训练搭建的网络，在测试集上预测手部深度和关节点得到手部深度图和关节点3D坐标。