[发明专利]一种基于RGB-D图像的室内场景三维重建方法

摘要

本发明公开了一种基于RGB‑D图像的室内场景三维重建方法，利用语义分割结果修复深度图像空洞，为三维重建提供物体轮廓与类别信息，根据先验知识获取到物体的形状和外观，从而为三维重建提供更加精确的数据。三维重建为语义分割提供三维空间信息，解决二维图像分割中存在的物体交叠、受光照影响等导致的误分割。使用多层次的相机位姿估计，稀疏的特征匹配提供粗略的估计位姿，再通过密集的几何、光度优化方法，得到精确相机位姿，为重建模型提供更加精确的相机位姿。在重建过程中，对每帧进行局部优化，同时加入关键帧机制，建立全局优化与闭环检测，将关键帧像素对应的空间点建立约束，有效抑制误差累积，进一步优化相机位姿，提高重建结果的精度。

主权项

1.一种基于RGB‑D图像的室内场景三维重建方法，其特征在于，该方法包括以下步骤：S1.连续采集室内场景的D图像和RGB图像，同时选取关键帧，建立关键帧数据库；S2.对当前帧RGB图像进行语义分割，得到当前帧语义分割结果和当前帧像素分类结果；S3.利用所述当前帧语义分割结果，修复当前帧D图像的空洞，得到当前帧修复后D图像；S4.根据当前帧修复后D图像，计算当前帧相机位姿，根据当前帧相机位姿，将当前帧三维点云融合到已重建好的三维点云中；S5.根据当前帧相机位姿，将重建后的三维点云反投影为当前帧RGB‑D图像，执行相机位姿的局部优化，根据优化后位姿对三维点云进行更新，并将当前帧与关键帧数据库中关键帧进行匹配，若匹配成功，则进入步骤S6，否则，进入步骤S7；S6.对当前帧进行闭环检测，闭环检测成功时，更新相机位姿，根据更新的相机位姿对三维点云进行更新；S7.确立当前帧是否为关键帧，如果是，确定为关键帧，加入关键帧数据库，进入步骤S8，否则，直接进入步骤S9；S8.基于关键帧执行相机位姿的全局优化，根据优化后位姿对三维点云进行更新；S9.将所述当前帧像素分类结果融合到更新后的三维点云中，得到重建后的室内场景。