[发明专利]室内场景的稀疏多视角三维重建方法

说明书

本发明属于计算机视觉和计算机图形学领域，为实现既能保证该项技术应用的广泛性，又能生成比较精准的三维模型。为此，本发明采取的技术方案是，室内场景的稀疏多视角三维重建方法，基于深度学习的方法获得深度信息与语义信息，然后利用全局‑局部配准方法实现各个稀疏视角的模型融合，利用全局‑局部配准方法具体包括利用单视角建立面片的方法对深度图进行过滤与平滑、将各个视角下的深度图转换成点云并进行融合步骤。本发明主要应用于图像处理场合。

技术领域

本发明属于计算机视觉和计算机图形学领域，特别涉及一种稀疏多视角拍摄下的室内场景三维重建方法。

背景技术

随着室内导航、家居或办公设计以及增强现实的需求越来越多，室内场景的三维重建和理解在计算机视觉和图形学中成为了一个比较热门的话题。如今的重建方法大致分为两大类。第一种方法是使用基于飞行时间或者结构光的深度相机去场景中扫描，KinectFusion(R.A.Newcombe,S.Izadi,O.Hilliges,D.Molyneaux,D.Kim,A.J.Davison,P.Kohi,J.Shotton,S.Hodges,and A.Fitzgibbon.KinectFusion:Real-time densesurface mapping and tracking.In ISMAR,pages 127–136,2011.)比较细致的展示了使用Kinect进行室内三维重建的流程，在这之后的ElasticFusion(T.Whelan,R.F.Salas-Moreno,B.Glocker,A.J.Davison,and S.Leutenegger.ElasticFusion:Real-time denseSLAM and light source estimation.International Journal of Robotics Research,35(14):1697–1716,2016.)和BundleFusion(A.Dai,M.Nieβner,M.Zollh¨ofer,S.Izadi,and C.Theobalt.BundleFusion:Real-time globally consistent 3D reconstructionusing on-the-fly surface reintegration.ACM Trans.Graphics,36(4):76a,2017.)在实时三维上取得了最先进的结果。这些方法通过传感器就能简单直接的得到深度，不过采集到的深度往往会受到噪声，缺失值的影响，除此之外，采集的深度范围也有所限制。所以自然而然，第二种方法就没有使用深度相机，它基于的是彩色相机，在应用场景上更加扩大了，只要有一部手机，就能获得彩色图，也就能够去重建了。同步定位和建图(SLAM)(M.G.Dissanayake,P.Newman,S.Clark,H.F.DurrantWhyte,and M.Csorba.A solution tothe simultaneous localization and map building(SLAM)problem.IEEETrans.RoboticsAutomation,17(3):229–241,2001.)技术和运动恢复结构(SFM)(N.Snavely,S.M.Seitz,and R.Szeliski.Photo tourism:exploring photo collectionsin 3D.ACM Transactions on Graphics,25(3):835–846,2006.)技术是两种比较流行的基于彩色图重建方法，不过这些方法都需要场景中有比较丰富的纹理才能提取到有效的特征，除此之外，上述两个方法都需要连续帧的追踪或者基于稠密视角的采集，这在一定程度上限制了应用的范围。

发明内容

为克服现有技术的不足，实现既能保证该项技术应用的广泛性，又能生成比较精准的三维模型。为此，本发明采取的技术方案是，室内场景的稀疏多视角三维重建方法，基于深度学习的方法获得深度信息与语义信息，然后利用全局-局部配准方法实现各个稀疏视角的模型融合，利用全局-局部配准方法具体包括利用单视角建立面片的方法对深度图进行过滤与平滑、将各个视角下的深度图转换成点云并进行融合步骤。

具体步骤如下：