[发明专利]基于双目RGB图像的手部深度及姿态估计方法

说明书

本发明涉及一种基于双目RGB图像的手部深度及姿态估计方法，属于计算机视觉与深度学习领域。主要包含以下步骤：(1)数据获取及预处理；(2)搭建基于双目RGB图像手部深度图重建网络；(3)将视差图转换为深度图；(4)搭建基于深度图手部关节点估计网络；(5)训练搭建的神经网络。(6)在测试集上预测手部深度和关节点得到手部深度图和关节点3D坐标。本发明具有以下优点：一是通过从双目RGB图像中重建手部深度图可以获取手部深度信息，在人机交互领域有重要作用；二是基于重建得到的手部深度图来估计手部关节点相比于直接从RGB图像估计关节点精度更高，可以有效解决基于单目RGB图像估计关节点带来的深度不确定性。

技术领域

本发明涉及一种基于双目RGB图像的手部深度及姿态估计方法，属于计算机视觉与深度学习领域。

背景技术

随着人工智能的快速发展，增强现实等技术得到广泛应用，人们可以沉浸在虚拟信息和真实环境相互融合的环境。增强现实眼镜等产品的出现可以给人们提供现实世界无法快速得到的信息，辅助人们提高工作效率。增强现实的产品也提供了许多有趣的生活体验。手部关节点空间估计是人机交互的重要技术，可以摆脱传统的鼠标和键盘信息输入方式。通过准确估计关节点空间位置，人们可以通过简单手势给机器提供指令，实现信息快速传递，同时便于人们理解和记忆指令含义，提供极致的体验。

近年来，基于视觉的手部关键点估计方法的研究发展迅速。由于商业深度相机的普及，深度图像变得易于获取，出现了包含多种手部姿势的深度图像数据集，促进了基于深度图像的关节点估计方法的迅速发展，但是由于深度相机使用场景的限制，使用彩色图像进行关节点估计逐渐引起关注。基于单张彩色图像估计三维关节点由于深度信息缺失，一般借助手部模型或者使用直接回归等方法获取二维与三维的对应关系。基于单目图像估计手部三维关节点坐标存在从二维映射到三维的病态问题，直接回归导致精度不高，借助手部模型的方式也存在参数量大，计算复杂等问题。因此这类方法存在一定的局限性。

发明内容

为了解决上述问题，本发明基于双目RGB图像，利用双目图像蕴含的空间信息，重建出手部深度图，然后基于手部深度图进行手部关节点估计，从而实现一种同时得到手部深度图及高精度的手部关节点的方法。

为实现上述发明目的，本发明的技术方案如下：

一种基于双目RGB图像的手部深度及姿态估计方法，包括以下步骤：

步骤1、数据获取及预处理。数据包含双目RGB图像及对应深度图标注和3D关节点标注，将数据集划分为训练集和测试集分别用于网络训练和预测。

步骤2、搭建基于双目RGB图像手部深度图重建网络。所述网络包括三个结构：特征提取结构、cost volume结构和视差预测结构。

所述特征提取结构使用卷积神经网络对输入的双目图像进行特征提取，得到左图特征图和右图特征图。

所述cost volume结构利用特征提取得到的左右特征图在视差维度上叠加，形成cost volume结构。

所述视差预测结构利用3DCNN网络从cost volume预测图像中每个像素点在每个视差等级上的概率，将每个视差等级与其对应概率相乘然后求和得到该像素点的视差值，预测每个像素点视差值后得到视差图。

步骤3、利用转换公式depth＝f·B/d将视差图转换为深度图。其中f为相机焦距，B为双目相机基线，即左右相机光心的距离，d为视差图，depth为转换后的深度图。

步骤4、搭建基于深度图手部关节点估计网络。所述关节点估计网络包括特征提取、特征融合和平均池化；所述特征提取部分对手部大拇指、食指、和其余三个手指进行三次特征提取；提取到的特征图经特征融合部分在通道维度上进行叠加融合；所述平均池化部分将融合后的特征图进行平均值池化，从而得到手部21个关节点的3D坐标。