[发明专利]一种基于点线融合的视觉SLAM方法

说明书

一种基于点线融合的视觉SLAM方法，首先输入一幅图像，预测相机位姿，对图像提取特征点，利用多个视角间的时序信息估计并提取特征线。匹配特征点和特征线，在前后帧跟踪特征，建立帧间的关联，然后对当前帧的位姿进行优化，并优化二维特征线，以提升特征线的完整度。判断当前是否为关键帧，对于关键帧，则加入地图中，并更新地图中的三维点和线，对当前关键帧和相邻的关键帧进行联合优化，优化相机的位姿和三维特征。并剔除部分外点，剔除冗余的关键帧。最后对关键帧进行回环检测，若当前关键帧和之前帧为相似场景，则闭合回环，并进行一次全局优化，消除累积误差。本发明在基于点和线的SLAM系统框架下，利用多个视角图像的时序关系，提升线条提取的速度和特征线的完整度，从而提升位姿精度和地图重建效果。

技术领域

本发明属于图像处理、计算机图形学和计算机视觉等交叉学科，涉及视觉同步定位与地图构建(SLAM)领域。

背景技术

同时定位与地图构建(简称SLAM，Simultaneous Location And Mapping)是一种在未知环境中，进行自身定位并同时建立地图的技术。主要应用在移动机器人、自动驾驶、虚拟现实、增强现实等方面。视觉SLAM主要使用视觉传感器作为输入设备，比如单目相机，双目相机，深度相机等，系统将图像作为输入，输出相机轨迹以及重建的三维地图。

主流的视觉SLAM通过对图像提取特征点，利用特征点与相机的位姿以及特征点的三维坐标之间的几何关系，求解相机轨迹和三维地图，比如Raul等人2017年在Robotics上发表的“ORB-SLAM2:An Open-Source SLAM System for Monocular,Stereo,and RGB-DCameras”方法。但点特征在光照变化、噪声干扰、运动模糊、弱纹理等场景中表现不佳。所以有些系统采用点和线融合的方式求解SLAM问题。目前较新的系统大多采用LSD、EdLines等方法在图像中提取直线段，比如Pumarola等人在2017年的ICRA会议上提出的“PL-SLAM:Real-time monocular visual SLAM with points and lines”方法，该方法在ORB-SLAM2的基础上增加特征线的处理。本发明方法充分利用多个视角之间的时序关系，使用时序关系提取特征线，提升线特征的帧间连续性和鲁棒性，可以在一定程度上应对遮挡、断裂等情况。

在基于关键帧的SLAM系统中，系统需要建立重投影误差来优化相机位姿。点的重投影误差一般采用投影点和观测点的欧式距离度量，而线的误差计算方式一般分为两种，一种采用两条直线的端点到端点的欧式距离作为误差值，比如早期的Gee等发表在2006年的Advances in Visual Computing的“Real-time model-based SLAM using linesegments”算法，该算法很方便的从点特征误差计算方式扩展到线特征上，而另一种采用观测线的端点到投影线的垂直距离作为误差值，目前基于直线的SLAM大多采用此方式计算。本发明利用端点到重投影直线的垂直距离作为重投影误差优化相机的位姿，在完成位姿优化之后，根据二维特征线的时序关系对提取的特征线的端点进行优化，以提升线段观测的完整度，从而更好的预测线条，同时也提升地图重建效果。

发明内容

SLAM的任务目标是尽可能地提升位姿精度和建图效果。本发明提出一种基于点线融合的视觉SLAM方法。该方法利用帧间时序性关系，更好地提取特征信息，并在位姿优化之后，反向优化二维特征线，从而提高位姿精度，提升地图重建效果。具体的实施步骤如下：

步骤1，输入图像；

步骤2，特征跟踪；

步骤2.1，预测相机位姿，并提取特征点和特征线；

步骤2.2，匹配前后帧的特征点和特征线；

步骤2.3，优化相机位姿；

步骤2.4，优化二维特征线；