[发明专利]一种基于深度图的室内场景精细化解析方法

权利要求书

1.一种基于深度图的室内场景精细化解析方法，其特征在于，包括：

(1)提取待解析的室内场景深度图的三通道特征图，并将提取的三通道特征图作为已训练的全卷积网络的输入，对所述待解析的室内场景深度图中的目标进行分割；

(2)根据提取的三通道特征图，利用全连接条件随机场，对分割结果的边界进行完善优化，得到所述待解析的室内场景深度图中所有像素的类别标签向量；

所述三通道特征图中，每个通道图像的像素与所述待解析的室内场景深度图中的像素一一对应，三个通道分别表示视差值、距地面高度和法向量与重力方向夹角大小；

提取待解析的室内场景深度图的三通道特征图，包括：

(1.1.1)由得到视差d和像素点对应深度值Z之间的关系；

(1.1.2)由得到每个像素点的法向量，其中，norm[·]表示向量的归一化，符号×代表向量外积，表示待解析的室内场景深度图二维平面的像素位置，表示待解析的室内场景深度图的三维立体空间中的坐标，且二维坐标与三维坐标之间的转换关系式为：为深度相机的内参矩阵；

(1.1.3)由与构造平行集合N_II和垂直集合N_⊥，其中，代表像素点的法向量，表示重力方向，为法向量和重力方向的夹角，ρ表示角度误差裕量；

(1.1.4)将求解的矩阵N_⊥N_⊥^T-N_IIN_II^T的特征值作为更新后的重力向量，并采用更新后的重力向量继续执行步骤(1.1.3)直至特征值稳定不变，得到目标重力向量，并计算点云中每个像素的法向量和目标重力方向的夹角，其中，点云表示所有像素点对应的三维立体空间中的坐标(x，y，z)组成三维点云；

(1.1.5)以目标重力向量为基准轴，求取每个点沿目标重力向量的投影值，找到最低点，其他点沿目标重力向量的投影值和最低点的差值作为距地面高度；

(3)将所述待解析的室内场景深度图转换成点云，基于所述类别标签向量解析所述目标的三维结构，得到所述目标的空间姿态。

2.根据权利要求1所述的方法，其特征在于，步骤(1)具体包括：

(1.1)将待解析的室内场景深度图I编码成三通道图I^E；

(1.2)将三通道图I^E作为已训练的全卷积网络的输入，逐层提取多级CNN特征，其中，前一层得到的卷积特征图经过下采样后，送入后一层提取新的卷积特征图；

(1.3)将位于不同层的卷积特征图分别通过反卷积层，上采样至相同尺寸，然后将不同层的特征图互相融合，送入softmax层；

(1.4)通过softmax层对每个像素点的类别进行预测，输出每个像素点属于各个类别的概率，最大概率值对应的类别为该像素点的初始类别标签。

3.根据权利要求2所述的方法，其特征在于，步骤(1.4)具体包括：

通过softmax层对每个像素点的类别进行预测，输出每个像素点i属于各个类别的概率其中l＝{1，2，...，C}表示类别标签，并将最大概率值所对应的类别作为该像素点的初始类别标签，为不考虑softmax层的全卷积网络最后一层的输出。