[发明专利]一种基于深度图的室内场景精细化解析方法

说明书

本发明公开了一种基于深度图的室内场景精细化解析方法，应用于数字图像处理和模式识别技术领域，所述方法包括：提取深度图三通道特征，利用已训练的全卷积网络对待解析的室内场景深度图中的目标进行分割；在深度特征图上，利用全连接条件随机场，对分割结果的边界进行完善优化，得到所述待解析的室内场景深度图中所有像素的类别标签向量；将所述待解析的室内场景深度图转换成点云，基于所述类别标签向量解析所述目标的三维结构，得到所述目标的空间姿态。本发明仅采用深度图作为输入，实现对室内场景的语义分割，并给出具体物体在三维坐标下的空间姿态，可以有效克服遮挡，分离前景背景，更有利于保护使用者的隐私。

技术领域

本发明属于数字图像处理和模式识别技术领域，更具体地，涉及一种基于深度图的室内场景精细化解析方法。

背景技术

室内场景解析是一项融合了目标检测和图像分割技术的任务，要求计算机对图像有多层次的理解，从底层的物体定位、识别与分割，到上层的场景识别、室内物体布局分析，包含了从2D到3D的全方位多角度的算法设计。

传统的场景解析主要基于彩色图像，所依靠的信息源有限，主要是颜色，纹理等。现有算法采用自底向上的框架，对图像超像素进行分类，然后利用图模型优化分割结果。但现有算法有两方面不足：一是在室内遮挡严重、物体繁杂的情况下，鲁棒性不好，难以区分目标和背景；二是平面彩色图像有先天信息源不足的缺陷，不能给出目标三维空间的位置信息。

近年来，深度相机的普及为解决上述问题提供了一个新的维度，使得室内场景的解析和理解水平有了较大程度的提高。深度图像提供了一个更接近于真实世界的视角，可以通过距离反映出前景与背景的区别，同时在视觉信息的基础上增加了表面几何信息，这些深度图所独有的特点为室内场景的3D解析提供了极大的便利。

而现有基于深度图的室内场景解析技术，思路和传统彩色图像的方法非常类似，只是将深度信息作为了一种新的特征，并没有充分利用深度图独有的特点。值得一提的是，不管是只基于彩色图像的传统方法，还是借助了深度图像同时也必须依赖彩色图像的方法，在实际应用中，不可避免的会在夜晚关灯情形下失效。此外，使用彩色相机，存在泄露用户隐私的风险。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于深度图的室内场景精细化解析方法，由此解决现有的基于深度图的室内场景解析技术中由于基于彩色图像而存在的在没有光照情形下无法识别室内场景的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于深度图的室内场景精细化解析方法，包括：

(1)提取待解析的室内场景深度图的三通道特征图，并将提取的三通道特征图作为已训练的全卷积网络的输入，对所述待解析的室内场景深度图中的目标进行分割；

(2)根据提取的三通道特征图，利用全连接条件随机场，对分割结果的边界进行完善优化，得到所述待解析的室内场景深度图中所有像素的类别标签向量；

(3)将所述待解析的室内场景深度图转换成点云，基于所述类别标签向量解析所述目标的三维结构，得到所述目标的空间姿态。

优选地，步骤(1)具体包括：

(1.1)将待解析的室内场景深度图I编码成三通道图I^E，每个通道图像的像素与所述待解析的室内场景深度图I中的像素一一对应，三个通道分别表示视差值、距地面高度和法向量与重力方向夹角大小；

(1.2)将三通道图I^E作为已训练的全卷积网络的输入，逐层提取多级CNN特征，其中，前一层得到的卷积特征图经过下采样后，送入后一层提取新的卷积特征图；

(1.3)将位于不同层的卷积特征图分别通过反卷积层，上采样至相同尺寸，然后将不同层的特征图互相融合，送入softmax层；