[发明专利]一种基于RGB-D图像的室内场景三维重建方法

说明书

本发明公开了一种基于RGB‑D图像的室内场景三维重建方法，利用语义分割结果修复深度图像空洞，为三维重建提供物体轮廓与类别信息，根据先验知识获取到物体的形状和外观，从而为三维重建提供更加精确的数据。三维重建为语义分割提供三维空间信息，解决二维图像分割中存在的物体交叠、受光照影响等导致的误分割。使用多层次的相机位姿估计，稀疏的特征匹配提供粗略的估计位姿，再通过密集的几何、光度优化方法，得到精确相机位姿，为重建模型提供更加精确的相机位姿。在重建过程中，对每帧进行局部优化，同时加入关键帧机制，建立全局优化与闭环检测，将关键帧像素对应的空间点建立约束，有效抑制误差累积，进一步优化相机位姿，提高重建结果的精度。

技术领域

本发明属于计算机视觉技术领域，更具体地，涉及一种基于RGB-D图像的室内场景三维重建方法。

背景技术

深度相机Kinect的原理为红外发射器发射红外线，照射到物体表面，形成随机的反射散斑，进而被深度传感器接收，再由系统芯片运算生成深度图像。对于透明材质、纹理缺失的平面，红外线无法反射形成散斑或者效果较差，从而得到的深度图像带有空洞。目前，大多研究工作采用双边滤波方法对深度图像进行简单预处理。

现有技术中，基于RGB-D图像的三维重建主要包括：Newcombe等人通过预处理的深度图像直接计算得到空间点的三维坐标，再用迭代最近点方法估计相邻帧相机运动，用立方体网格模型存储重建点云。但是，该方法固定了重建场景大小，对于大场景无法适用，同时重建结果精度不高。Thomas Whelan提出的改进算法Kintinuous和Niebner等人提出的基于体素哈希的模型表示方法，解决了显存消耗和计算消耗的问题。但是，这两个方法无法应对丢失情况，对于长时间大范围的重建容易发生漂移，精度不高。

然而，上述方法均存在重建精度不高、无法解决深度图像空洞导致的误分割的缺陷。

发明内容

针对现有技术的缺陷，本发明的目的在于解决现有技术重建精度不高、无法解决深度图像空洞导致的误分割的技术问题。

为实现上述目的，第一方面，本发明实施例提供了一种基于RGB-D图像的室内场景三维重建方法，该方法包括以下步骤：

S1.连续采集室内场景的D图像和RGB图像，同时选取关键帧，建立关键帧数据库；

S2.对当前帧RGB图像进行语义分割，得到当前帧语义分割结果和当前帧像素分类结果；

S3.利用所述当前帧语义分割结果，修复当前帧D图像的空洞，得到当前帧修复后D图像；

S4.根据当前帧修复后D图像，计算当前帧相机位姿，根据当前帧相机位姿，将当前帧三维点云融合到已重建好的三维点云中；

S5.根据当前帧相机位姿，将重建后的三维点云反投影为当前帧RGB-D图像，执行相机位姿的局部优化，根据优化后位姿对三维点云进行更新，并将当前帧与关键帧数据库中关键帧进行匹配，若匹配成功，则进入步骤S6，否则，进入步骤S7；

S6.对当前帧进行闭环检测，闭环检测成功时，更新相机位姿，根据更新的相机位姿对三维点云进行更新；

S7.确立当前帧是否为关键帧，如果是，确定为关键帧，加入关键帧数据库，进入步骤S8，否则，直接进入步骤S9；

S8.基于关键帧执行相机位姿的全局优化，根据优化后位姿对三维点云进行更新；

S9.将所述当前帧像素分类结果融合到更新后的三维点云中，得到重建后的室内场景。

具体地，关键帧的选取方式为：当图像帧与上一关键帧视差大于阈值并且匹配点数少于设定数量时，将其确立为关键帧。

具体地，基于CNN和CRF进行语义分割。

具体地，步骤S3具体包括以下子步骤：