[发明专利]基于结构先验与深度学习的城市场景分段平面重建方法

说明书

本发明公开了基于结构先验与深度学习的城市场景分段平面重建方法，涉及图像处理技术领域，通过融合场景结构先验与由深度学习获取的图像高层特征，采用图像区域与相应平面协同优化的方式对场景结构进行了初始推断，并在MRF能量优化架框下对场景结构进行了全局优化。实验结果表明，本发明的方法仅利用稀疏空间点即可有效重建场景完整的结构，整体上具有较高的性能。

技术领域

本发明涉及图像处理技术领域，特别是涉及基于结构先验与深度学习的城市场景分段平面重建方法。

背景技术

在利用二维图像重建三维场景结构的过程中，场景分段平面重建算法通常可有效解决像素级重建中的匹配多义性(如在弱纹理区域)问题而快速获取场景完整的近似结构，这在城市规划、虚拟旅游、驾驶导航等领域有着广泛的应用。在实际中，由于场景结构的复杂性以及诸多干扰因素(如光照变化、透视畸变等)的影响，有效提高场景分段平面重建的可靠性与精度仍是一个具有挑战性的难题，也是当前学术界研究的热点问题。

场景分段平面重建算法一般将场景重建过程分为以下步骤：(1)将图像分割为多个互不交叠的区域(即超像素)；(2)利用初始空间点、线段等信息获取候选平面集；(3)利用全局优化方法推断不同超像素对应的最优平面，进而获得场景完整的分段平面结构。在实际中，此类算法通常存在以下问题导致其可靠性与效率较低：(1)与场景面片相关联的图像区域(即超像素)通常采用图像过分割算法获取，而超像素的尺寸却未得以合理的控制。事实上，超像素尺寸较大时，相应的场景面片往往由于深度变化较大而不能近似为平面；而尺寸较小时，则由于匹配多义性问题的存在(如超像素仅为单个像素的极端情况)而导致场景可靠性较低。(2)利用初始稀疏甚至稠密空间点往往不易获得完备的候选平面集(如超像素对应的真实平面并不包含于候选平面集中)，这将对后续环节场景结构的推断可靠性造成较大的影响。(3)利用全局优化方法对场景结构进行推断时，超像素对应平面的可靠性度量的构造通常基于图像底层特征(如颜色、灰度)、空间点可见性约束与“具有相近特征的超像素具有相同平面”的规范化或假设。然而，在很多情况下，图像底层特征并不利于克服匹配多义性、光照变化等因素的干扰，具有相近特征的超像素对应的平面也并不一定相同，这通常也导致场景重建的可靠性与精度降低。(4)对场景中非重建区域(如天空、地面)缺乏有效的检测与滤除机制，整体重建效率因此受到较大的影响。

发明内容

本发明实施例提供了基于结构先验与深度学习的城市场景分段平面重建方法，可以解决现有技术中存在的问题。

一种基于结构先验与深度学习的城市场景分段平面重建方法，所述方法包括以下步骤：

步骤100，输入稀疏空间点及标定图像；

步骤110，初始化初始平面集和初始超像素集；

其中，利用在标定图像中检测出的由不同平面相交而产生的线段对应的直线对超像素进行再分割；

步骤120，根据初始平面集和初始超像素集确定可靠平面及相应的超像素，并分别保存至集合H和R；

步骤130，初始超像素集中除去与可靠平面相应的超像素以外的超像素集为Q，根据集合R计算集合Q中超像素的平面推断优先级，然后根据平面推断优先级从大到小的顺序从集合Q中选择并从中清除超像素s；

步骤131，如果选择的超像素s为天空和地面，则放弃后续步骤；

其中，对于地面区域，如果超像素s内部的像素在当前所有已重建场景平面的反投影空间点位于地平面下方者的平均比例大于90％，则将其直接视为地平面；

对于天空区域，通过以下条件T_sky(s)来判断：