[发明专利]一种基于单目深度相机和里程传感器的室内三维建模方法

说明书

本发明涉及三维稠密重建技术领域，具体涉及一种基于单目深度相机和里程传感器的室内三维建模方法，包括：采用单目深度相机和里程传感器分别进行室内场景采集，并综合两者采集的场景数据得到多帧单目深度图像；利用所述里程计传感器提供的相对位置初值引导所述多帧单目深度图像进行帧与帧之间的彩色点云配准，并融合生成多个一段，每个所述一段包括所述多帧单目深度图像中的若干帧；对每个所述一段进行首尾扩展，扩展后对多个所述一段的段与段之间进行首尾帧的彩色点云配准，得到相机位姿；基于所述相机位姿，进行室内三维建模。该方法可以克服目前三维建模系统因为彩色点云配准失效和误配准导致的建模结果不可用的问题。

技术领域

本发明涉及三维稠密重建技术领域，具体涉及一种基于单目深度相机和里程传感器的室内三维建模方法。

背景技术

在三维稠密重建领域，常用的输入设备为单目深度相机，传统方法对单目图像进行二维特征匹配，再对深度图像进行三维点云配准，最后逐帧计算相对位姿，进而得到每帧的相机位姿。文章“Open3D:A Modern Library for 3D Data Processing”对单目深度相机生成的彩色点云进行配准，从而实现帧间位姿估计，进一步对重建过程分段，先匹配固定数量的连续帧，组成一段(fragment)，再以段为整体进行段与段之间的彩色点云配准和位姿优化，实现了比较好的细节并保证了建模结果的结构性。

但是，由于单目深度相机会受物体表面材质的影响，容易出现深度值缺失的问题；此外，在使用单目深度相机时，白墙等平面场景的深度缺乏三维信息，存在不可观的自由度；并且，在使用单目深度相机时，图像容易受运动影响而出现运动模糊，白墙、天花板等场景难以提取有效特征。这些都会导致基于彩色点云配准的位姿估计失败。即便是配准成功的场景，由于缺乏对结果的验证，也容易造成段间误配准，导致重建结果不可用。

因此，有必要提供一种室内三维建模的方法，克服目前三维建模系统因为彩色点云配准失效和误配准导致的建模结果不可用的问题。

发明内容

解决的技术问题

针对现有技术所存在的上述缺点，本发明提供了一种基于单目深度相机和里程传感器的室内三维建模方法，该方法可以克服目前三维建模系统因为彩色点云配准失效和误配准导致的建模结果不可用的问题。

技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

本发明提供一种基于单目深度相机和里程传感器的室内三维建模方法，包括：

采用单目深度相机和里程传感器分别进行室内场景采集，并综合两者采集的场景数据得到多帧单目深度图像；

利用所述里程计传感器提供的相对位置初值引导所述多帧单目深度图像进行帧与帧之间的彩色点云配准，并融合生成多个一段，每个所述一段包括所述多帧单目深度图像中的若干帧；

对每个所述一段进行首尾扩展，扩展后对多个所述一段的段与段之间进行首尾帧的彩色点云配准，得到相机位姿；

基于所述相机位姿，进行室内三维建模。

进一步地，所述综合两者采集的场景数据得到多帧单目深度图像，具体为：

采用一棋盘格标定板，对所述单目深度相机和所述里程传感器组成的系统进行标定，得到所述里程计传感器的单目相机cam0到所述单目深度相机cam1的外参

根据内置标定已知所述里程计传感器输出的位姿odom到所述里程计传感器的单目相机cam0的外参由此计算所述里程计传感器输出的位姿odom到所述单目深度相机cam1的外参

根据所述外参将所述里程计传感器采集的位置数据转换到所述单目深度相机的坐标系，并与所述单目深度相机采集的场景数据综合，得到所述多帧单目深度图像及所述相对位置初值。