[发明专利]基于三阶球面谐波的动态场景高精度实时三维重建方法及系统

权利要求书

1.一种基于三阶球面谐波的动态场景高精度实时三维重建方法，其特征在于，包括以下步骤：

通过RGBD相机对动态场景进行拍摄，以得到深度和彩色图像序列；

将单张深度图像变换为三维点云，并获取所述三维点云和重建模型顶点及参数化人体模型顶点之间的匹配点对；

根据所述匹配点对和当前视角建立基于三阶球面谐波光照模型的联合能量函数，并交替求解所述重建模型上每一个顶点的非刚性运动位置变换参数和场景低频光照信息；

对所述能量函数进行求解，以根据求解结果将所述重建模型的几何和表面反射率分别与所述三维点云和彩色图像序列进行对齐；

通过深度图自适应性地更新和补全对其后的三维模型，并通过所述彩色图像自适应地补全和更新场景表面的反射率信息。

2.根据权利要求1所述的基于三阶球面谐波的动态场景高精度实时三维重建方法，其特征在于，所述能量函数为：

其中，E_total为运动求解总能量项，为当前时刻待求解非刚性运动参数，为当前时刻待求解场景光照，E_depth为深度数据项，E_shading为光照项，E_mreg为局部刚性运动约束项，E_lerg为场景光照求解正则项，λ_depth、λ_shading、λ_mreg和λ_lreg分别为对应各个能量项的权重系数。

3.根据权利要求1所述的基于三阶球面谐波的动态场景高精度实时三维重建方法，其特征在于，所述深度图像的投影公式为：

其中，u，v为像素坐标，d(u，v)为深度图像上像素(u，v)位置处的深度值，为深度相机内参矩阵。

4.根据权利要求1所述的基于三阶球面谐波的动态场景高精度实时三维重建方法，其特征在于，所述顶点的计算公式为：

其中，为作用于顶点v_i的变形矩阵，包括旋转和平移两部分；为变形矩阵的旋转部分。

5.根据权利要求1-4任一项所述的基于三阶球面谐波的动态场景高精度实时三维重建方法，其特征在于，根据所述对齐后的三维模型到相应深度观测的距离来对模型更新进行加权，并且设有最大融合帧数，以在所述三维模型融合满足预设条件的深度观测后，停止模型更新，转而只进行场景运动的求解。

6.一种基于三阶球面谐波的动态场景高精度实时三维重建系统，其特征在于，包括：

信息采集模块，用于通过RGBD相机对动态场景进行拍摄，以得到深度和彩色图像序列；

联合匹配模块，用于将单张深度图像变换为三维点云，并获取所述三维点云和重建模型顶点及参数化人体模型顶点之间的匹配点对；

光照、运动联合解算模块，用于根据所述匹配点对和当前视角建立基于三阶球面谐波光照模型的联合能量函数，并交替求解所述重建模型上每一个顶点的非刚性运动位置变换参数和场景低频光照信息；

图像序列对齐模块，用于对所述能量函数进行求解，以根据求解结果将所述重建模型的几何和表面反射率分别与所述三维点云和彩色图像序列进行对齐；

自适应模型更新模块，用于通过深度图自适应性地更新和补全对其后的三维模型，并通过所述彩色图像自适应地补全和更新场景表面的反射率信息。

7.根据权利要求6所述的基于三阶球面谐波的动态场景高精度实时三维重建系统，其特征在于，所述能量函数为：

其中，E_total为运动求解总能量项，为当前时刻待求解非刚性运动参数，为当前时刻待求解场景光照，E_depth为深度数据项，E_shading为光照项，E_mreg为局部刚性运动约束项，E_lerg为场景光照求解正则项，λ_depth、λ_shading、λ_mreg和λ_lreg分别为对应各个能量项的权重系数。