[发明专利]一种由粗至精的室内场景图像布局估计方法

说明书

本发明公开了一种由粗至精的室内场景图像布局估计方法，首先基于Canny边缘检测结果，设置阈值获得相应长直线段，对长直线段进行方向上的归类并估计消失点，进而生成大量布局候选项；然后，构建以VGG‑16为原型的全卷积神经网络预测信息化边界图，并将fc7层提取特征经Softmax分类器获得布局类别信息，两者融合生成全局特征进行布局候选项的粗选取；最后，建立布局估计的结构化回归模型，在提取线段、几何上下文、法向量和深度等信息的基础上，经几何积分图像形成区域级特征，实现布局候选项到特征域的映射的同时进行特征参数的学习，从而获得布局估计参数模型。该方法提高了布局估计的准确率，在室内场景的3D重建中具有重要的应用价值。

技术领域

本发明涉及一种由粗至精的室内场景图像布局估计方法，属于图像场景理解技术领域。

背景技术

图像场景理解一直都是计算机视觉领域的研究热点，室内场景布局估计作为其初始也是关键单元，基本目标是根据给定的室内场景图像恢复出场景内房间的布局结构。对于人眼这种高度精确且即时的视觉系统来说，识别房间的布局并不困难，仅需一瞥，即可获知视场范围内场景的上下文信息，但利用现有计算机技术模拟人类视觉系统，使计算机具有“观察”世界的能力并非易事，需要经历较复杂的机器学习过程。主要是因为场景内部存在大量的杂物，例如家具、个人等，都会对房间的布局边界造成遮挡，使得布局的恢复变得极具挑战性。

近年来，许多的场景布局估计研究工作中致力于提出有效的方法进行布局估计。文献[Hedau V,Hoiem D,Forsyth D.Recovering the spatial layout of clutteredrooms.International Conference on Computer Vision.2009:1849-1856.]提出将房间布局边界参数化为3D盒模型结构，基于估计的消失点生成布局候选项，提取线段、几何上下文等特征进行学习。文献[Lee D C,Hebert M,Kanade T.Geometric reasoning forsingle image structure recovery.Computer Vision and Pattern Recognition.2009:2136-2143.]在此基础之上又引入方向图特征。文献[Zhang J,Kan C,Schwing AG,etal.Estimating the 3D Layout of Indoor Scenes and Its Clutter from DepthSensors.IEEE International Conference on Computer Vision.2013:1273-1280.]除给定RGB图像之外加入了深度信息，对仅基于外观信息特征提取的进行补充。文献[Schwing AG,Hazan T,Pollefeys M,et al.Efficient structured prediction for 3D indoorscene understanding.IEEE Conference on Computer Vision and PatternRecognition.2012:2815-2822.]提出一种新的参数化方法,将房间布局边界参数化为由消失点引出的成对射线之间的夹角，问题转化为四个离散随机变量的基础预测，对目标函数采用新方法求解。随着卷积神经网络狂潮的掀起，文献[Mallya A,Lazebnik S.LearningInformative Edge Maps for Indoor Scene Layout Prediction.InternationalConference on Computer Vision.2015:936-944.]对场景布局的边界进行预测，提取新的边界特征。上述方法主要从特征提取和模型求解这两方面进行优化，并没有对模型本身进行修改。

上述方法所涉及的特征都是从既定场景布局候选项的划分区域内逐个提取拼接而成，则所提取的特征都是区域级特征，并没有将基于整幅图像所提取的全局特征融入进去考虑。

发明内容