[发明专利]一种由粗至精的室内场景图像布局估计方法

权利要求书

1.一种由粗至精的室内场景图像布局估计方法，其特征在于，包括以下步骤：

步骤A、针对室内场景图像，采用改进型的消失点估计方法对图像中检测出的边缘线段进行消失点估计，生成若干场景布局候选项；

步骤B、针对室内场景图像，基于卷积神经网络提取布局边界和布局类别信息，融合成全局特征，对步骤A生成的场景布局候选项进行粗选取，具体为：

B1，针对室内场景图像，采用基于VGG-16的全卷积神经网络对图像的布局边界进行估计，估计得到场景的布局边界信息；

B2，提取B1中基于VGG-16的全卷积神经网络中最后一层卷积层的输出特征作为一个浅层神经网络的输入，进行布局类别标注概率的训练，估计得到场景的布局类别信息；

B3，将B1中估计得到的布局边界信息和B2中估计得到的布局类别信息融合生成全局特征，通过全局特征对场景布局候选项的边界位置和结构进行约束，实现对场景布局候选项的粗选取；

步骤C、根据布局估计问题定义结构化回归问题模型，通过训练图像集对结构化回归问题模型进行训练学习，通过训练学习完成的模型进行室内场景布局估计；最后用查询图像测试，具体为：

C1，针对训练图像集中的室内场景图像及其对应的基准标注布局，分别通过Canny算子进行边缘检测获得室内场景图像的边缘线段信息、通过基于VGG-16的全卷积神经网络获得室内场景图像的几何上下文信息、通过基于VGG-16的空间多尺度卷积神经网络获得室内场景图像的法向量信息和深度信息，通过几何积分图像方式将提取的线段信息、几何上下文信息、法向量和深度信息经线性变换拼接为特征向量的形式，形成区域级特征，实现室内场景图像到特征域的映射；

C2，将布局估计问题转化为步骤B中粗选取后的场景布局候选项的最优选取问题，定义结构化回归问题模型，其目标函数为：

其中，f(x,y；w)表示室内场景图像x与其基准标注布局y之间的映射关系，w表示权重向量，f(x,y)＝w^Tψ(x,y)，ψ(x,y)表示室内场景图像x针对其基准标注布局y所提取的区域级特征；

C3，根据步骤C1中训练图像集中的室内场景图像的区域级特征，对步骤C2中的结构化回归问题模型进行训练学习，求解得到权重向量w，完成结构化回归问题模型的训练学习完成具体为：

将目标函数转化为以下问题：

其中，λ表示常量，x_q表示训练图像集中第q个室内场景图像，1≤q≤Q，Q表示训练图像集中室内场景图像的数目；ξ_q表示x_q的松弛变量，Y表示x_q经过步骤A和步骤B处理后得到的粗选取后的布局候选项集合，y′表示集合Y中的元素，y_q表示x_q的基准标注布局，ψ(x_q,y_q)表示x_q对应的基准标注布局y_q所提取的区域级特征，ψ(x_q,y′)表示x_q对应的粗选取后的布局候选项y′所提取的区域级特征，Δ(y_q,y′)表示用于量化y_q和y′两种布局之间的测度的损失函数；

C4，用查询图像测试，具体为：采用步骤A和步骤B的方法对查询图像进行处理，得到粗选取后的布局候选项，将粗选取后的布局候选项分别映射为区域级特征的形式，输入训练学习完成的结构化回归问题模型即可获得最优布局候选项，将最优布局候选项标注为布局估计的结果，从而完成室内场景图像布局的估计。

2.根据权利要求1所述的一种由粗至精的室内场景图像布局估计方法，其特征在于，步骤A具体为：

A1，针对室内场景图像，采用Canny算子进行边缘检测，并设置边缘线段的阈值，将小于阈值的边缘线段剔除，将剩余的长直边缘线段用于消失点估计；

A2，将图像中长直边缘线段进行竖直方向、水平方向线段的划分，分别用于估计竖直方向消失点、水平及投影方向消失点，其中，竖直方向的线段用于估计竖直方向上的消失点，水平方向的线段用于估计水平和投影方向上的消失点；

A3，由估计得到的竖直方向、水平方向的消失点等间隔地引出射线，两两成对射线相交确定图像内区域面的划分情况，从而生成若干场景布局候选项。