[发明专利]一种基于多鱼眼摄像机和双针孔投影模型的SLAM方法

说明书

本发明公开了一种基于多鱼眼摄像机和双针孔投影模型的SLAM方法，包括以下步骤：（1）标定摄像机内部和外部参数；（2）输入若干个鱼眼图像，如果系统尚未进行初始化，通过双针孔投影模型将输入图像校正为合适的双针孔透视图像，并且在每个视图的校正图像上提取特征；（3）结合摄像机外部参数将地图点转换到每个视图进行特征跟踪和匹配；（4）固定局部地图的地图点进行多视图姿态优化，更新估计的主体姿态；（5）联合局部地图的所有位姿和地图点进行多视图捆绑调整(bundle adjustment,BA)优化；（6）采用双向对称的查询方式，保证正、反向经过同一场景时都能正确检测到回环，回环检测成功后进行回环校正。

技术领域

本发明属于计算机视觉技术领域，涉及一种基于多鱼眼摄像机和双针孔投影模型的SLAM方法。

背景技术

随着无人驾驶的发展，针对特定场景的自主代客泊车系统(autonomous valetparking systems,AVPS)被认为最有希望早日实现商业落地，因此，被国内外各大车企和无人驾驶科技公司当成重点发展对象。其中，同时定位与地图构建(simultaneouslocalization and mapping,SLAM)技术作为实现自主定位的关键技术被应用于AVPS，特别是视觉SLAM(visual SLAM,vSLAM)越来越受欢迎，因为相比差分GPS、激光雷达等其他替代品，相机具有成本低、无源传感、丰富的环境信息等优点。

视觉SLAM已经被研究了几十年，目前主要有单目SLAM、双目SLAM和RGBD SLAM。单目SLAM硬件配置简单，但视野有限，真实尺度无法估计，如ORB-SLAM[Mur-Artal R,MontielJ M M,Tardos J D.ORB-SLAM:a Versatile and Accurate Monocular SLAM System[J].IEEE Transactions on Robotics,2015,31(5):1147-1163.]。双目SLAM可利用相机间的约束确定尺度信息，但需要更多的计算成本，如stereo-dso[Wang R,Martin,Cremers D.Stereo DSO:Large-Scale Direct Sparse Visual Odometry with StereoCameras[J].2017.]。RGBD SLAM可同时获得彩色图像和深度图像，但测量范围小限制了近距离感知，如申请号为CN201811001614.6的中国专利《一种基于Kinect的视觉SLAM方法》。上述系统和专利由于针孔摄像机的视场受限，均存在诸如遮挡、跟踪易丢失等问题。Multicol-SLAM[Urban S,Hinz S.MultiCol-SLAM:A Modular Real-Time Multi-CameraSLAM System[J].2016.]采用多个鱼眼摄像机，直接使用原始鱼眼图像，并专门设计用于高度失真图像的新特征，但新特征过于耗时，且特征误匹配较多。D.Scaramuzza,A.Martinelli and R.Siegwart,“A Toolbox for Easy Calibrating OmnidirectionalCameras,”Proceedings of the IEEE International Conference on IntelligentRobots and Systems,Beijing,9-15October 2006.中的全向摄像机模型较为常用。Cubemap-SLAM[Wang Yahui,Cai Shaojun,Li Shijie,et al.,2019.CubemapSLAM:APiecewise-Pinhole Monocular Fisheye SLAM System.10.1007/978-3-030-20876-9_3.]采用单个大视场鱼眼摄像机，并使用立方体图模型消除鱼眼图像畸变，但仍然存在单目尺度问题。

发明内容

针对上述存在的问题，本发明提出了一种基于多鱼眼摄像机和双针孔投影模型的SLAM方法，利用多个鱼眼摄像机扩大视场，构建双针孔投影模型消除图像畸变，实现高精度多目初始化、前端跟踪和后端优化等算法，保证全方位观察无人车周围的环境，消除尺度问题，改善实时性和特征匹配。