[发明专利]一种基于图像细节和结构增强的多视图立体几何方法

说明书

本发明涉及一种基于图像细节和结构增强的多视图立体几何方法，本发明利用双边纹理滤波这一保边滤波器在连续多尺度上对传统多视图立体几何方法的输入图像进行预处理，包括图像的细节增强和结构增强；增强后的图像连同原始输入图像同时进行多视图立体几何运算，得到三种深度图和法向量图；然后对三种结果进行自适应合并操作得到合并后的深度图和法向量图；最后再对合并后的深度图和法向量图进行深度融合，得到最终的三维稠密模型。本发明通过细节和结构增强，使得多视图立体几何运算时能够得到更完整的深度图和法向量图，使得最终融合得到的三维模型更加稠密，可以大大提升三维重建的稠密度和完整度，而且整体的算法简单易操作，可扩展性极强。

技术领域

本发明涉及一种多视图立体几何方法，尤其是涉及一种基于图像细节和结构增强的多视图立体几何方法。

背景技术

基于图像的三维重建技术(Image Based 3D Reconstruction)包括稀疏重建的从运动恢复结构方法(SfM：Structure-from-Motion)和稠密重建的多视图立体几何方法(MVS：Multi-View Stereo)。稠密重建的多视图立体几何方法(MVS)是在稀疏重建的基础上发展起来的，问题可以归结于在知道摄像机参数的情况下在图像集中估计像素级别的匹配。而几乎都有MVS方法都是通过在对极线限制下来寻找特征点的匹配，因此在处理纹理缺失或者纹理虚弱的图像区域时，就会存在根本性的缺陷，导致匹配失败，无法进行后续三维重建工作。

为了处理纹理缺失或者纹理虚弱的图像区域，其中一种方法是组合多幅图像进行图像一致性的测量，可以通过从多条射线进行三角化增加重建精确度，以及利用大量重叠相干性来提高重建的完整度和鲁棒性，但是随着匹配图像数量的增加，无疑会加大冗余计算量，增加重建时间。另一种方法利用从shading恢复形状方法(Shape-from-Shading)对三维几何进行优化，但是这种方法需要知道光照信息，而且该应用被限制在朗博表面或者具有均匀反射的表面。还有一种方法是利用偏振摄像机来对场景进行多视角的拍照，得到一系列偏振图像来进行三维重建，这种方法虽然不用估计光照等因素，但是对于拍摄条件比较严格，而且还需要进行偏振图像模型的估计，增加传统三维重建的步骤，可扩展性较差。

发明内容

本发明主要是解决现有技术所存在的技术问题；提供了一种对原始输入图像集进行细节和结构增强的方法，使得增强后图像集在进行多视图立体几何计算时，可以在纹理虚弱区域和物体结构处寻找到更多的匹配点，增加三维重建模型的稠密度和完整度；提供了一种简单有效的图像预处理方法。利用双边纹理滤波这一保边滤波器在多个尺度上对图像进行细节和结构增强，使得增强后图像更加适用于后续的三维重建；提供了一种自适应的深度图和法向量图合并方法，可以简单高效的对多种多视图立体几何结果深度图和法向量图进行自适应性合并，为后续深度融合生成最终三维模型提供便利。

本发明的上述技术问题主要是通过下述技术方案得以解决的：

一种基于图像细节和结构增强的多视图立体几何方法，包括以下步骤：

步骤1，利用双边纹理滤波对原始输入图像集中的每张图像进行多尺度的保边分解，获得连续的多个尺度的滤波图像和差异图像，其中差异图像包括中细节图像和结构图像；

步骤2，对滤波图像和差异图像进行细节增强和结构增强，具体实现方式如下，

步骤2.1，对差异图像中的细节图像进行细节增强；

步骤2.2，组合滤波图像中的结构信息和差异图像中的结构信息，进行自适应的加权平均，得到结构增强的图像；

步骤3，对原始图像、细节增强以及结构增强后的三种图像分别进行多视图立体几何计算，并对三种多视图立体几何计算的结果图像进行合并，得到最终的深度图和法向量；

步骤4，利用合并后的深度图和法向量图进行深度融合操作，得到最终的三维模型。