[发明专利]一种面向RGBD三维重建纹理生成的相机姿态优化方法

说明书

本发明属于计算机视觉与计算机图形图像处理技术领域，具体涉及一种面向RGBD三维重建纹理生成的相机姿态优化方法，S1.得到深度图像融合的关键帧；S2.计算三维网格模型点云深度投影图；S3.去除点云深度投影图中的背景数据；S4.深度数据匹配和相机姿态的优化。该方法由已知三维网格模型、关键帧，结合纹理生成过程中的需求，利用网格模型的几何特征以及关键帧中的深度数据，研究一种在RGBD三维重建纹理生成过程中，对关键帧视点下相机位姿的优化方法，为高质量的纹理图像生成提供保障。

技术领域

本发明属于计算机视觉与计算机图形图像处理技术领域，具体涉及一种面向RGBD三维重建纹理生成的相机姿态优化方法。

背景技术

近年来随着VR/AR应用潜力的不断发掘，带来了对三维内容大规模生产的需求。基于RGBD数据流进行场景的三维重建技术使得模型可以具有较高的几何精度。然而逼真的三维模型还需要有高质量的纹理展现几何模型无法展现的细节。在生成纹理的过程中，相机姿态的准确与否，对最终三维模型纹理的连续性和清晰程度都有着至关重要的作用。

当前对基于RGBD数据流的三维重建的研究大部分集中在如何通过RGBD数据流产生高精度的几何模型，而其后的纹理生成工作步骤如下：首先，在生成几何模型的过程中，按照一定规则截取若干关键帧，关键帧内容包括当时的RGB数据和深度数据以及在建模过程中利用相关方法估计出的相机姿态；第二步，对于几何模型上的每一个网格面片，按照某些约束，将它与某一视点的关键帧相关联，然后利用相机的内参将RGB信息投影到模型上；然后，由于光照、拍摄角度的关系，取自不同关键帧的RGB信息会存在差异，导致模型上的纹理出现明显的接缝，使用诸如Poission Editing的方法可以对缝隙两侧的网格进行处理，从而消除接缝；最终，将网格面片上的RGB信息整理打包为单独的纹理图集，得到最终的纹理图像。

上述过程在理想状况下可以得到一幅高质量的纹理贴图，但是实际情况中，截取关键帧时，单帧的RGB和深度数据往往存在空洞和模糊噪声的干扰，以及建模过程中的误差累积导致相机姿态偏移，使RGB信息投影到网格面片上时发生错位，引起模型上的纹理错乱，对后续缝隙处理造成难以挽回的影响，从而影响网格模型最终纹理的质量。

发明内容

为了克服以上缺点，本发明的目的在于提供一种面向RGBD三维重建纹理生成的相机姿态优化方法，该方法由已知三维网格模型、关键帧，结合纹理生成过程中的需求，利用网格模型的几何特征以及关键帧中的深度数据，研究一种在RGBD三维重建纹理生成过程中，对关键帧视点下相机位姿的优化方法，为高质量的纹理图像生成提供保障。

为了实现上述目的，本发明采用如下技术方案：一种面向RGBD三维重建纹理生成的相机姿态优化方法，包括如下步骤：

S1.得到深度图像融合的关键帧；

S2.计算三维网格模型点云深度投影图；

S3.去除点云深度投影图中的背景数据；

S4.深度数据匹配和相机姿态的优化。

进一步地，所述步骤S1的具体为：

S11.对已配准的RGBD数据流分组；

S12.将每一帧中深度值大于0的像素点投影到所在组第一帧所在的平面中；

S13.通过加权平均的方法计算融合后最终的深度像素值，得到关键帧；

进一步地，所述步骤S11的具体为：

对已配准的RGBD数据流，取时间连续的K帧深度数据以及各自对应的相机姿态，深度数据经双边滤波后，记为D₁…D_k，相机姿态记为T₁…T_k。

进一步地，所述步骤S12的具体为：