[发明专利]基于光影优化的三维几何与本征成份重建方法及装置

权利要求书

1.一种基于光影优化的三维几何与本征成份重建方法，其特征在于，包括以下步骤：

通过RGBD相机对动态场景进行拍摄，以得到三维彩色点云时间序列拍摄；

获取三维深度点云和重建模型顶点之间的匹配点对，并获得点对集合，其中，所述点对集合包含所述三维深度点云上与所述重建模型的顶点对应的三维坐标点；

根据所述匹配点对及当前视角彩色图像建立基于本征分解的联合能量函数，并求解所述重建模型上每一个顶点的非刚性运动位置变换参数；

对所述能量函数进行求解，以获得表面模型顶点的形变变换矩阵以及图像上每个项目的本征成份；以及

根据求解结果将前一帧三维模型的几何进行形变，使形变模型与当前帧的采集点云进行对齐，并根据所述本征成份融合几何及本征成份信息，以补全和更新当前帧模型的几何和本征成份，实现三维几何与本征成份重建。

2.根据权利要求1所述的基于光影优化的三维几何与本征成份重建方法，其特征在于，所述能量函数为：

其中，E为运动求解总能量项，为当前时刻待求解非刚性运动参数和当前帧点云的本征成份，E_d为深度数据项，E_s为光影优化项，E_reg为局部刚性运动约束项，λ_d、λ_s和λ_reg分别为对应各个能量项的权重系数；

并且，根据非刚性运动驱动模型顶点，计算公式为：

其中，为作用于顶点v_i的变形矩阵，所述变形矩阵包括旋转部分和平移部分，为所述旋转部分。

3.根据权利要求2所述的基于光影优化的三维几何与本征成份重建方法，其特征在于，所述深度数据项表达为：

其中，v为模型表面上的一个顶点，v′为非刚性驱动变形后的模型顶点，所述模型顶点的计算公式为：

其中，为第t帧的第j个变形节点的变换矩阵，u^t为深度点云上与模型顶点v对应的三维坐标点，是所述三维坐标点的法向，P为所有对应点对的集合。

4.根据权利要求1所述的基于光影优化的三维几何与本征成份重建方法，其特征在于，基于本征成份分解的光照能量项为：

其中，为当前彩色相机视角可见的所有模型顶点的集合，M_c为彩色相机的投影矩阵，C^t(M_c(v′))为v′在当前t时刻彩色相机视角下投影到彩色图像上所获得的颜色，B^t(v′）为结合模型几何信息和图像本征成份属性。

5.根据权利要求1所述的基于光影优化的三维几何与本征成份重建方法，其特征在于，局部刚性约束项为：

其中，代表第j个变形节点的相邻变形节点集合；代表所有非刚性变形节点的集合。

6.一种基于光影优化的三维几何与本征成份重建装置，包括：

拍摄模块，用于通过RGBD相机对动态场景进行拍摄，以得到三维彩色点云时间序列拍摄；

获取模块，用于获取三维深度点云和重建模型顶点之间的匹配点对，并获得点对集合，其中，所述点对集合包含所述三维深度点云上与所述重建模型的顶点对应的三维坐标点；

分解模块，用于根据所述匹配点对及当前视角彩色图像建立基于本征分解的联合能量函数，并求解所述重建模型上每一个顶点的非刚性运动位置变换参数；

求解模块，用于对所述能量函数进行求解，以获得表面模型顶点的形变变换矩阵以及图像上每个项目的本征成份；以及

重建模块，用于根据求解结果将前一帧三维模型的几何进行形变，使形变模型与当前帧的采集点云进行对齐，并根据所述本征成份融合几何及本征成份信息，以补全和更新当前帧模型的几何和本征成份，实现三维几何与本征成份重建。