[发明专利]一种基于RGB图像的三维重建方法

说明书

本发明公开了一种手部三维建模的方法，具体包括手部检测；特征生成；手部三维重建三个步骤。该方法通过RGB图像实现手部三维重建，不需要使用手部的多视图图像，并利用深度学习技术实现从二维图像到三维手部模型的映射，替代了传统的几何方法和复杂的专业软件构建手部，通过深度学习的方法来提取特征，而不是利用几何线条去构建，采用目前公开的数据和一些合成的数据来进行训练，利用深度学习实现三维重建能达到建模快，精度高。

技术领域

本发明涉及计算机视觉和计算机仿真领域，具体是指基于RGB图像的手部三维重建方法。

背景技术

随着虚拟现实、增强现实等三维技术的出现，人机交互的应用场景的要求在不断变化，它要求场景更加生动、人物角色也更加逼真，一切朝着复杂、逼真和高精度的要求在发展。与此同时，听觉交互和视觉交互等人机交互的方式已经不能够满足业界的需求。手是人类与环境互动的最自然的方式之一，这使得手在三维场景的人机交互中也起到同样重要的作用，而手部三维重建是实现手在三维场景下的人机交互这一应用下的基础。手部三维重建是指利用获取的手部空间信息，还原出手在三维场景下的三维模型。手部三维重建的目的是通过获取到的数据，恢复在三维场景下手的形状、姿态和精细的表面，以此来完成手的重建。

随着深度摄像机的出现，基于RGB-D图像的手部三维重建相继发展，但因为设备的价格昂贵，深度图像数据难以获得。由于RGB相机比深度摄像机应用广泛，RGB图像数据容易获得，所以采用RGB图像进行手部三维重建更方便。目前的人机交互的方式在一些领域已经取得了研究成果，比如语音识别、人脸识别、指纹识别、人体姿态识别等，这些人机交互的方式已经发展的比较成熟了。面部表情和言语在交流中起着重要的作用，重要的非言语信息也通过身体动作进行交流，特别是手和手指的动作，以强调我们的言语，阐明我们的思想，传达情感。手作为非语言的交流方式，手在人机交互中也起到了不可或缺的作用。当人们在无法用言语表达的情况下，通过手部动作就可以理解对方意图，从而完成交流。在人与物体进行接触的时候，手与物体的交互就能够达到交流。然而，随着虚拟现实、增强现实等技术的出现，也需要我们建模手，尤其在三维场景下，手的建模需要达到逼真的效果，以实现与虚拟环境的直观和身临其境的交互。一直以来，有关手的重建一直也在研究当中，但由于手空间的高维度、姿势和形状的变化、遮挡和自我封闭等的多样性和复杂性，手部三维重建一直是计算机图形学和计算机视觉的重要研究方向。

随着商业相机的出现，RGB-D图像也被用于手部三维重建的研究。RGB-D图像是深度图像和RGB图像组成的。借助深度照相机，一个简单的想法是将一个三维手形拟合到其相应的深度图中，并迭代优化它。近年来也有许多方法用于RGB-D图像完成手部三维重建：（1）利用一种基于二维CNN的方法，可以直接从二维深度图估算形状。

（2）使用深度图的三维体像素化网格来估计三维关节热图的作品，从而避免了透视失真。然而，通过直接回归网格顶点的三维热图来扩展形状估计的工作在实践中是不可行的。

（3）将手部深度图像编码为三维体，使用三维CNN来推断手部的三维姿态。该方法将稀疏点云转换为密集的体积表示，以实现有效的三维卷积。但这种转换改变了数据的性质，使数据变得不必要的庞,而且分辨率处于一个低分辨率的状态，还可能会丢失手的细节。

除了以上基于CNN的方法在深度图像上的研究，也可以直接从深度图像中估算出三维关节位置。然而，这些方法的主要弱点是预测是粗糙的，没有明确考虑运动学和几何约束。再者RGB-D图像不易获取，因此RGB图像成为了研究的对象。