[发明专利]基于结构先验与深度学习的城市场景分段平面重建方法

摘要

本发明公开了基于结构先验与深度学习的城市场景分段平面重建方法，涉及图像处理技术领域，通过融合场景结构先验与由深度学习获取的图像高层特征，采用图像区域与相应平面协同优化的方式对场景结构进行了初始推断，并在MRF能量优化架框下对场景结构进行了全局优化。实验结果表明，本发明的方法仅利用稀疏空间点即可有效重建场景完整的结构，整体上具有较高的性能。

主权项

一种基于结构先验与深度学习的城市场景分段平面重建方法，其特征在于，所述方法包括以下步骤：步骤100，输入稀疏空间点及标定图像；步骤110，初始化初始平面集和初始超像素集；其中，利用在标定图像中检测出的由不同平面相交而产生的线段对应的直线对超像素进行再分割；步骤120，根据初始平面集和初始超像素集确定可靠平面及相应的超像素，并分别保存至集合H和R；步骤130，初始超像素集中除去与可靠平面相应的超像素以外的超像素集为Q，根据集合R计算集合Q中超像素的平面推断优先级，然后根据平面推断优先级从大到小的顺序从集合Q中选择并从中清除超像素s；步骤131，如果选择的超像素s为天空和地面，则放弃后续步骤；其中，对于地面区域，如果超像素s内部的像素在当前所有已重建场景平面的反投影空间点位于地平面下方者的平均比例大于90％，则将其直接视为地面；对于天空区域，通过以下条件Tsky(s)来判断：其中，Psky(s)为语义标注算法获取的超像素s属于天空区域的概率，ε为相应的阈值，Hr为已重建的平面集，Hs为当前为超像素s分配的平面，Edata(s,Hs)为数据项，最初为超像素集中所有包含空间点的超像素对应最小Edata(s,Hs)值的平均值，而后根据当前已重建平面与相应超像素对应的Edata(s,Hs)值进行更新；步骤132，如果选择的超像素s不是天空或地面，则生成候选平面集并确定其最小的平面可靠性度量E(s,Hs)值；其中，生成候选平面集的方法为：首先检测与超像素s相邻且已获得可靠平面的超像素集Π，然后根据平面夹角先验Aprior，以场景垂直方向以及s与t∈Π边界上任意一点确定的轴线为中心旋转超像素t对应的平面Ht，进而将每个平面夹角对应的旋转平面作为超像素s的候选平面，多个候选平面组成候选平面集，其中场景垂直方向采用消影点检测方法确定；步骤133，如果E(s,Hs)值小于将平面Hs与超像素s分别保存至平面集H与超像素集R，然后进入步骤140；步骤134，如果E(s,Hs)值大于或等于则对超像素s进行再分割，并将分割结果保存至集合Q；步骤140，跳转到步骤130，直到集合Q为空；步骤150，根据超像素集R对应的平面集H生成初始场景结构；步骤160，得到初始场景结构后，在MRF框架下对场景结构进行全局优化，相应的能量函数为：其中，E′pho(s,Hs)为利用图像底层特征构造的平面可靠性度量，Esmooth(Hs,Ht)为平滑项，ω为权重系数，为超像素s的相邻超像素集合。