[发明专利]基于单目视觉的特征法与直接法相融合的SLAM方法

说明书

本发明公开了一种基于单目视觉的特征法与直接法相融合的SLAM方法，包括：从灰度图像中提取DSO特征，从DSO特征中提取ORB特征，分别对DSO特征和ORB特征进行特征对匹配处理；插入关键帧到局部地图中，对现存地图点进行更新，剔除冗余地图点，从关键帧中提取新的地图点，进行地图点更新；将现存地图点投影到关键帧，并构建局部光束法平差，调整相机位姿；剔除冗余关键帧，询问数据库，并进行Sim3相似性计算，并检测是否是闭环，如果是，则进行闭环融合，并优化本质图，流程结束；如果不是，则进入下一步骤；构建全局光束法平差，调整相机位姿，使得SLAM系统整体误差最小化，更新地图。

技术领域

本发明涉及移动设备自主定位与建图领域，尤其涉及一种基于单目视觉的特征法与直接法相融合的SLAM方法。

背景技术

SLAM(Simultaneously Location and Mapping，中文译作“同时定位与地图构建”)，被誉为移动设备实现自主移动的核心技术之一，近年来在一群优秀的研究人员的共同努力下，已逐渐走向成熟，且未来可广泛应用于三维重建、AR/VR(Augmented Reality，增强现实/Virtual Reality，虚拟现实)设备与移动机器人领域。

由于采用传感器的不同，诸如惯性测量单元(Inertia Measurement Unit，IMU)、激光雷达(Laser Lidar)、相机等，SLAM可分为INS(Inertia Navigation System，惯性导航系统)、激光SLAM与视觉SLAM。其中，视觉SLAM根据摄像头的不同(有单目-Monocular、双目-Stereo、RGB-D深度相机，以及鱼眼相机、全景相机等)，又可区分开来。其中，使用单目相机的SLAM被称为单目视觉SLAM。

目前视觉SLAM主流的方法有两种，分别是基于特征法的SLAM(如ORB-SLAM^[1])，以及基于直接法的SLAM(如DSO^[2](Direct Sparse Odometry，直接法稀疏里程计))。两种方法具备各自的优势：

1)基于ORB特征^[1]：通过提取的特征点与描述子，使得处理的图像具有良好的旋转不变性，且具有良好的光照稳定性，在实时性要求较高的场景下，该种方法更加鲁棒。但当环境中存在较少的纹理或纹理重复性较高时(如图1)，基于特征的SLAM只能依赖有限的特征点，而当特征点少于一定阈值时，该种方法便会失效；

2)基于直接法^[2]：不必计算描述子，可以直接根据图像的像素信息来估算搭载相机主体的运动，但是该方法基于一个很强的灰度不变假设，在环境光照变化不明显时，该方法在弱纹理区域呈现出强于特征法的鲁棒性。

基于特征法的SLAM很难在缺少特征的弱纹理环境中(如图1)运行，而直接法无需依赖特征点，只要图像中存在像素梯度，便可顺利实时运行，但是在弱纹理或重复纹理的环境中，即使存在极少的特征点，也能为整个SLAM系统前端带来一些约束，提供可靠的数据关联，从而极大的提高整个SLAM系统的鲁棒性与准确性。

参考文献

[1]R.Mur-Artal,J.Montiel,and J.Tardos.ORB-SLAM:a versatile andaccurate monocular SLAM system.Transactions on Robotics,31(5):1147–1163,2015.

[2]J.Engel,V.Koltun,and D.Cremers,“Direct Sparse Odometry,”IEEETransactions on Pattern Analysis and Machine Intelligence,vol.40,no.3,pp.611–625,2018.

发明内容