[发明专利]联合刚性运动和非刚性形变的三维重建方法及装置

说明书

本发明公开了一种联合刚性运动和非刚性形变的三维重建方法及装置，其中，方法包括：对目标对象进行基于深度相机的拍摄得到单张深度图像；通过三维骨架提取算法对深度点云进行三维骨架提取；获取三维点云和重建模型顶点之间的匹配点对；根据匹配点对和三维骨架信息建立能量函数，并求解重建模型上每一个顶点的非刚性运动位置变换参数并优化对象骨架参数；对能量函数进行GPU优化求解，以获得每个表面顶点的非刚性形变，并根据求解结果将前一帧的重建三维模型进行形变，使得形变模型与当前帧三维点云进行对齐；获得当前帧的更新后的模型，以进入下一帧的迭代。该方法可以有效提高重建的实时性、鲁棒性和准确性，扩展性强，简单易实现。

技术领域

本发明涉及计算机视觉和计算机图形学技术领域，特别涉及一种联合刚性运动和非刚性形变的三维重建方法及装置。

背景技术

动态对象三维重建是计算机图形学和计算机视觉领域的重点问题。高质量的动态对象三维模型，如人体，动物，人脸，人手部等，在影视娱乐、体育游戏、虚拟现实等领域有着广泛的应用前景和重要的应用价值。但是高质量三维模型的获取通常依靠价格昂贵的激光扫描仪或者多相机阵列系统来实现，虽然精度较高，但是也显著存在着一些缺点：第一，扫描过程中要求对象保持绝对静止，微小的移动就会导致扫描结果存在明显的误差；第二，造假昂贵，很难普及到普通民众日常生活中，往往应用于大公司或国家统计部门。第三，速度慢，往往重建一个三维模型需要至少10分钟到数小时的时间，重建动态模型序列的代价更大。

从技术角度，现有的重建方法要么集中在先求解对象的刚性运动信息，获得对象的逼近，进而重建非刚性表面运动信息。但这种重建方法需要事先获得对象的关键帧三维模型。另一方面，现有的逐帧动态融合表面的重建方法虽然可实现无模板的动态三维重建，但仅仅使用非刚性表面形变方法，跟踪重建的鲁棒性低。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种联合刚性运动和非刚性形变的三维重建方法，该方法可以有效提高重建的实时性、鲁棒性和准确性，扩展性强，简单易实现。

本发明的另一个目的在于提出一种联合刚性运动和非刚性形变的三维重建装置。

为达到上述目的，本发明一方面实施例提出了一种联合刚性运动和非刚性形变的三维重建方法，包括以下步骤：对目标对象进行基于深度相机的拍摄，以得到单张深度图像；通过三维骨架提取算法对深度点云进行三维骨架提取；将所述单张深度图像变换为三维点云，并获取所述三维点云和重建模型顶点之间的匹配点对；根据所述匹配点对和三维骨架信息建立能量函数，并求解所述重建模型上每一个顶点的非刚性运动位置变换参数并优化对象骨架参数；对所述能量函数进行GPU(Graphics Processing Unit，图形处理器)优化求解，以获得每个表面顶点的非刚性形变，根据求解结果将前一帧的重建三维模型进行形变，使得形变模型与当前帧三维点云进行对齐；融合当前帧三维点云与所述形变模型，以获得当前帧的更新后的模型，以进入下一帧的迭代。

本发明实施例的联合刚性运动和非刚性形变的三维重建方法，通过实时非刚性对齐的方法，逐帧地融合动态对象表面三维信息，为了实现鲁棒地跟踪，实现在无首帧关键帧三维模板条件下的鲁棒性实时动态三维重建，从而可以有效提高重建的实时性、鲁棒性和准确性，扩展性强，简单易实现。

另外，根据本发明上述实施例的联合刚性运动和非刚性形变的三维重建方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述将所述单张深度图像变换为三维点云，进一步包括：通过深度相机的内参矩阵将所述单张深度图像投影到三维空间中，以生成所述三维点云，其中，深度图投影公式为：

其中，u,v为像素坐标，d(u,v)为深度图像上像素(u,v)位置处的深度值，为所述深度相机的内参矩阵。