[发明专利]基于RGBD摄像头和光编码器的三维环境重建方法及系统

说明书

本发明公开了一种基于RGBD摄像头和光编码器的三维环境重建方法及系统，在选取关键帧时，若前一帧不能作为关键帧，则利用前一帧的光编码器的位姿和当前帧的光编码器的位姿计算当前帧和前一帧之间的帧间位姿变化信息，得到当前帧的位姿估计；在重建过程中，当基于视觉方法估计得到的当前帧相对于最近关键帧的位姿及其误差超过第一设定阈值时，以光编码器的输出位姿作为相机的初始位姿，重新估计当前帧相对于最近关键帧的位姿及其误差。其通过利用视觉和光编码器估计相机位姿，可以减少环境光照变化对位姿估计的影响；当关键帧初始化失败时，利用光编码器给出位姿变化的估计，可以增强对缺少纹理的环境重建的鲁棒性，可以更广泛地使用。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于RGBD摄像头和光编码器的三维环境重建方法及系统。

背景技术

在计算机视觉中,三维重建是指根据单视图或者多视图的图像重建三维信息的过程。由于单视频的信息不完全,因此三维重建比较困难。而多视图的三维重建(类似人的双目定位)相对比较容易,其大致方法是先对摄像机进行标定,即计算出摄像机的图像坐标系与世界坐标系的关系，然后再利用多个二维图像中的信息重建出三维信息。

目前，单纯基于RGBD(RGB+Depth，彩色图+深度图)摄像头的三维环境重建方法，其输入图像为彩色图像和深度图像。其中，彩色图像容易受到过亮、过暗、过曝等环境光照变化的影响，从而导致图像降质，甚至不可用。此外，在缺少纹理的环境中，从彩色图像中无法提取物体的边缘和特征点。而物体的边缘和特征点对相机的位姿估计非常重要，如果无法提取物体的边缘和特征点，则会直接导致相机的位姿估计误差过大，进而影响重建效果。

因此，现有的基于RGBD摄像头的三维环境重建方法，容易受环境及其光照变化的影响，在重建过程中对环境及其光照变化的鲁棒性较低，应用受限。

发明内容

基于此，本发明的目的在于提供一种基于RGBD摄像头和光编码器的三维环境重建方法及系统，在环境光照或环境纹理变化导致彩色图像降质或不可作为关键帧使用时，利用光编码器的输出来补偿相机的位姿估计，从而增加了重建过程对环境及其光照变化的鲁棒性，可以更广泛地使用。

本发明提供的一种基于RGBD摄像头和光编码器的三维环境重建方法，包括以下步骤：

在选取关键帧时，若前一帧不能作为关键帧，则利用前一帧的光编码器的位姿和当前帧的光编码器的位姿计算当前帧和前一帧之间的帧间位姿变化信息，得到当前帧的位姿估计；

在重建过程中，当基于视觉方法估计得到的当前帧相对于最近关键帧的位姿及其误差超过第一设定阈值时，以光编码器的输出位姿作为相机的初始位姿，重新估计当前帧相对于最近关键帧的位姿及其误差。

作为一种可实施方式，根据图像的边缘和特征点，选取关键帧。

作为一种可实施方式，在选取关键帧时，若前一帧不能作为关键帧，则利用前一帧的光编码器的位姿和当前帧的光编码器的位姿计算当前帧和前一帧之间的帧间位姿变化信息，得到当前帧的位姿估计，包括以下步骤：

在选取关键帧时，若前一帧不能作为关键帧，则利用前一帧的光编码器的位姿信息和当前帧的光编码器的位姿信息，计算当前帧和前一帧之间的帧间位姿变化信息；

根据所述前一帧的位姿和所述帧间位姿变化信息，得到当前帧的位姿估计。

作为一种可实施方式，本发明的基于RGBD摄像头和光编码器的三维环境重建方法，还包括以下步骤：

初始化关键帧；

若初始化成功，则根据当前帧和最近的关键帧，得到当前帧的位姿估计；

若初始化失败，则判断前一帧是否可以作为关键帧；