[发明专利]一种基于信息边缘和多模态特征的室内场景布局估计方法

权利要求书

1.一种基于信息边缘和多模态特征的室内场景布局估计方法，其特征在于，包括以下具体步骤：

步骤A，针对室内场景图像，根据检测出的边缘直线段进行消失点估计，从消失点出发以设定第一采样频率对场景图像区域进行粗划分；

步骤B，针对室内场景图像，采用卷积神经网络获取场景图像的信息边缘图，选取步骤1中粗划分后场景图像区域中能量高出设定阈值的区域，并对该区域进行以设定第二采样频率进行细划分，产生布局候选项；

步骤C，针对室内场景图像，提取其线组成员、几何上下文、深度、法向量特征，并采用积分几何累加计算方法对四个特征进行累加，得到场景图像的区域级特征；

步骤D，根据布局候选项到特征的一元和二元映射关系，设计布局估计的结构化回归模型，引入结构化学习算法对结构化回归模型进行训练学习，通过训练学习完成的模型进行室内场景布局估计。

2.根据权利要求1所述的一种基于信息边缘和多模态特征的室内场景布局估计方法，其特征在于，步骤A具体为：

A1，针对室内场景图像，利用边缘检测算子对其进行边缘检测以获取场景图像中的边缘轮廓，并设定长度阈值筛选出边缘轮廓中的直线段；

A2，采用Rother’s算法的投票策略，根据A1中获得的直线段进行消失点估计，得到空间直角坐标系中x、y、z方向上的三个正交消失点；

A3，分别从x、y方向上的消失点出发，以z方向上的消失点为参照，等角度间隔、以设定第一采样频率做出射线对场景图像区域进行粗划分。

3.根据权利要求2所述的一种基于信息边缘和多模态特征的室内场景布局估计方法，其特征在于，步骤A1中边缘检测算子为Canny算子或Roberts算子或Sobel算子或Prewitt算子。

4.根据权利要求2所述的一种基于信息边缘和多模态特征的室内场景布局估计方法，其特征在于，步骤A2中采用Rother’s算法的投票策略，根据A1中获得的直线段进行消失点估计，具体为：

1)将A1中获得的筛选后的直线段进行x、y、z方向上线段的划分，分别用于估计x、y、z方向上的消失点；

2)x方向的线段集合记为{l_vi}，1≤i≤n，n为x上的线段数目，p_k为{l_vi}中线段两两相交的形成第k个交点，1≤k≤K，K为{l_vi}中线段两两相交的形成的交点数目，则第i个x方向线段l_vi对p_k的得分贡献为：

其中，α表示l_vi与p_k和l_vi中点的连线之间的夹角，γ是设定阈值；

3)将所有x方向线段对p_k的得分贡献进行求和，得到p_k的得分

4)所有K个交点中得分最高的即为x方向上的消失点vp₁；

5)基于如2)至4)中相同的投票得分机制，分别获得y方向上的消失点vp₂与z方向上的消失点vp₃。

5.根据权利要求2所述的一种基于信息边缘和多模态特征的室内场景布局估计方法，其特征在于，步骤B具体为：

B1，针对室内场景图像，利用全卷积神经网络、通过多个卷积层提取图像像素级的特征图，并将最后一层的特征图用反卷积层进行上采样，产生信息边缘图和几何上下文标签图；

B2，分别统计步骤A中粗划分后的每个场景图像区域中的能量项高于设定能量阈值的数量；

B3，以z方向上的消失点作为参考点，在其上、下、左、右四个方向各选取一个能量项数量最高的区域；

B4，分别计算B3中选取的四个区域上两条射线的夹角角度，并以设定第二采样频率作出细采样射线对每个夹角进行等角度间隔划分，各细采样射线间的交点形成布局候选项的中墙角点，产生布局候选项。

6.根据权利要求5所述的一种基于信息边缘和多模态特征的室内场景布局估计方法，其特征在于，步骤B1中采用Caffe深度学习基于VGG-16的全卷积神经网络，产生信息边缘图和几何上下文标签图。