[发明专利]一种基于窗口插值的三维重建纹理恢复方法

说明书

本发明公开了一种基于窗口插值的三维重建纹理恢复方法，针对基于序列图像的背景三维重建过程中，由于前景障碍物遮挡无法重建背景的完整点云、无法获取完整贴图纹理的问题，本发明方法通过序列图像对比，有效恢复任意一张缺损的背景图片，从而达到重建完整点云的目的。本发明的方法主要流程包括：首先对不同视角下的缺损背景图片进行图片分组，对于每个图片对，使用图像变换将它们统一在同一视角下，然后分别进行图像重叠区域求取、待修补缺失像素点定位、缺失像素点填充、边界线消除等操作完成图片修补。本发明对于不同视角下的序列图像，可快速高效地进行图像缺损修补。

技术领域

本发明涉及一种基于窗口插值的三维重建纹理恢复方法，属于图像处理领域。

背景技术

在基于序列图像的背景三维重建过程中，由于前景障碍物的遮挡，会导致如下三个问题：(1)无法重建出完整的背景点云；(2)重建出的点云不纯净，并不是单纯的背景点云，还会包含障碍物的点云；(3)无法获得完整的背景纹理贴图。为了解决这些问题，一种直接有效的方法是将序列图像中的前景障碍物与背景分离开来，然后对每一张因障碍物造成缺损的图片使用图像恢复方法恢复完整，再利用这些完整的序列背景图片进行背景三维重建。因此，缺损图像恢复算法是这类解决方案的关键。

单幅图像的像素、纹理信息是有限的，利用单幅图像信息很难修复缺损区域较大或结构较复杂的缺损图像，而序列图像则可以利用周围相邻图片上的像素信息综合修补待修复图像。

现有的多张相片修补待修复图片的方法常常用于视频图像的修补，利用视频图像的帧间信息实现像素修复，但现有的适用于近景摄影三维重建的图片缺损像素修补算法却寥寥无几。近景摄影与视频图像修复之间的不同在于，视频图像的每一帧之间不存在视角的变化，而近景摄影拍摄的序列图像之间存在视角的变化。目前传统图像修补算法、视频图像修补算法无法适用于不同视角下的序列图片的缺损修补问题。

发明内容

针对目前传统图像修补算法、视频图像修补算法无法适用于用于背景三维重建的不同视角下的序列图片的缺损修补问题，本发明提供一种基于窗口插值的三维重建纹理恢复方法，实现不同视角下的序列图片的缺损修补。

本发明为解决上述技术问题采用以下技术方案：

本发明提供一种基于窗口插值的三维重建纹理恢复方法，包括如下步骤：

步骤a.对不同视角下的N张剔除前景障碍物后的背景序列图片(包含完整和缺损的图片)，选择其中一张待修补的缺损图片作为基准图片，其它图片均作为参考图片，基准图片分别与每一张参考图片形成一组图片对，将照片对按照参考图片与基准图片的距离升序排列，按顺序对每个图片对依次进行步骤b到f的操作；

步骤b.对于每一组图片对，进行特征点检测与匹配，利用匹配结果求取每一组图片对中两张图片之间的单应性矩阵；

步骤c.对于每一组图片对，使用基于图像变换的图像重叠区域获取算法求取每一组图片对中两张图片的重叠区域；

步骤d.对于每一组图片对，在步骤c中求取的重叠区域中，使用基于色彩空间约束的待修补像素点定位算法定位所有待修补的缺失像素点；

步骤e.对于每一组图片对，使用基于窗口插值的缺失像素点填充算法对步骤d中已定位的缺失像素进行修补填充；

步骤f.对于每一组图片对，使用基于加权平均融合的边界线融合算法消除步骤e中像素修补后留下的边界线，从而完成该组图片对所能提供的图片修补。

作为本发明的进一步优化方案，所述步骤c包括如下步骤：

c1.对于基准图片A和参考图片B，利用步骤b中求得的A和B之间的单应性矩阵将参考图片B变换至基准图片A的视角，记为图片B′；