[发明专利]一种基于多深度图的非刚体三维重建方法及系统

说明书

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种基于多深度图的非刚体三维重建方法及系统。

背景技术

三维重建是计算机视觉领域的重点问题。高质量的三维模型在影视娱乐、文物保护、机械加工等各个领域都有着重要的应用价值。但是高质量三维模型的获取通常依靠价格昂贵的激光扫描仪实现，虽然精度得以保证，但是也存在着两个缺点：第一、激光扫描仪在扫描过程中要求被扫物体绝对静止，微小的移动就会导致扫描结果存在明显的误差；第二，激光扫描仪价格不菲，很难普及从而扩大民用价值。

发明内容

本发明旨在至少解决上述技术问题之一。

为此，本发明的一个目的在于提出一种基于多深度图的非刚体三维重建方法。该方法求解准确鲁棒，消除了累加误差所会带来的影响，且运行速度快，拥有广阔的应用前景。

本发明的另一目的在于提出一种基于多深度图的非刚体三维重建系统。

为了实现上述目的，本发明第一方面的实施例提出了一种基于多深度图的非刚体三维重建方法，包括以下步骤：对非刚体以不同角度和不同姿态进行深度图拍摄以得到多个深度图；将每个深度图变换为一组三维点云，并获取多组三维点云之间的多个匹配点对；对每个匹配点进行位置变换，并求取所述位置变换后的每个匹配点对应的变换参数；对所有变换参数进行拼接，并根据拼接结果建立能量函数；以及对所述能量函数进行求解，以根据求解结果重建所述非刚体的三维模型。

根据本发明实施例的基于多深度图的非刚体三维重建方法，利用深度相机对同一非刚性物体不同角度、不同姿态拍摄采集到的深度图，并基于上述深度图完成对非刚体的三维几何建模的功能。该方法需求的输入信息简单易采集，并可得到高精度的完整三维模型。该方法求解准确鲁棒，消除了累加误差所会带来的影响。另外，该方法简单易行，且运行速度快，拥有广阔的应用前景，可以在普通PC机或工作站等硬件系统上实现。

另外，根据本发明上述实施例的基于多深度图的非刚体三维重建方法还可以具有如下附加的技术特征：

在一些示例中，通过深度相机对所述非刚体进行拍摄以得到所述多个深度图。

在一些示例中，所述将每个深度图变换为一组三维点云，进一步包括：获取所述深度相机的内参矩阵；根据所述内参矩阵将所述每个深度图变换为一组三维点云。

在一些示例中，所述变换的变换公式为：其中，u,v为像素坐标，d_c(u,v)为第c张深度图上像素(u,v)位置上的深度值，所述K为内参矩阵。

在一些示例中，所述对每个匹配点进行位置变换，并求取所述位置变换后的每个匹配点对应的变换参数，进一步包括：计算所述每个匹配点的旋转矩阵和偏移向量；根据所述旋转矩阵和偏移向量得到所述每个匹配点的位置变换方程；根据所述的位置变换方程得到所述每个匹配点对应的变换参数。

在一些示例中，所述位置变换方程为：p′=Rp+t，其中，p为匹配点，R为旋转矩阵，t为偏移向量。

在一些示例中，所述能量函数为：X=argmin_xα_eE_e+α_fE_f+α_nE_n,其中，E_e为拓扑约束，E_f为特征约束，E_n为最近点约束，α_e、α_f、α_n分别为E_e、E_f和E_n的权重系数。

本发明第二方面的实施例提供了一种基于多深度图的非刚体三维重建系统，包括：深度相机，所述深度相机用于对非刚体以不同角度和不同姿态进行深度图拍摄以得到多个深度图；匹配模块，用于将每个深度图变换为一组三维点云，并获取多组三维点云之间的多个匹配点对；变换模块，用于对每个匹配点进行位置变换，并求取所述位置变换后的每个匹配点对应的变换参数；拼接模块，用于对所有变换参数进行拼接，并根据拼接结果建立能量函数；以及三维重建模块，用于对所述能量函数进行求解，以根据求解结果重建所述非刚体的三维模型。