[发明专利]一种基于多相机协同的全景视觉SLAM方法

摘要

本发明公开了一种基于多相机协同的SLAM方法，通过多个相互补充视野的相机实现对探测环境360度范围的观测，每个相机独立采集与分析数据，同时，在构建地图和运动跟踪过程中，有效相机协同完成具有尺度信息的共享地图点生成和联合位姿估计的任务，可以利用多相机的成像与结构特点协同完成全景SLAM系统的地图构建与高精定位任务，解决现有纯视觉SLAM系统存在的感知视野受限，弱纹理环境定位精度差，地图尺度信息缺失，抗光照和遮挡能力差等问题，同时，多个相机相互独立，任一相机出现问题都不会影响系统的正常工作，使得系统对物体遮挡、阳光直射以及镜头损坏等情况都有一定的鲁棒性，为无人平台自主导航提供技术保障。

主权项

1.一种基于多相机协同的全景视觉SLAM方法，其特征在于，采用由搭载在同一运动平台上至少2个相机实现全景视觉测量，所有相机观测视野覆盖360度环境信息并要求相邻相机的观测视野具有一定的重叠区域；所述SLAM方法包括如下步骤：步骤S1、确定相机的数量和基线长度；并标定相机的内部参数和外部参数；步骤S2、同步采集所有相机的视频数据，并提取各幅图像的特征点；步骤S3、基于所有相机在同一个时刻采集的各幅图像进行特征点匹配；再基于匹配的特征点，利用三角测量方法初始化相机间视场重叠区域内的局部地图点；最后，初始化SLAM系统的全局坐标系；步骤S4、结合相机所在的运动平台的运动模型，估计SLAM系统在全局坐标系的当前位姿；针对每台相机获得的当前帧图像，与所有相机的上一帧图像进行特征点匹配，获得特征点的匹配点对；将每台相机获得的当前帧图像的特征点与当前局部地图点进行匹配，获得特征点与地图点的匹配点对；首次执行步骤4时，当前局部地图点即为初始的局部地图点；以估计的SLAM系统当前位姿作为初始值，获得特征点的匹配点对的投影误差以及特征点与地图点的匹配点对的重投影误差，得到两个误差项，使用非线性集束优化两个误差项，获取SLAM系统当前准确的位姿；步骤S5、判断所有相机当前获取的所有图像构成的当前帧是否为关键视频帧，如果是，将其插入到关键帧序列中；利用关键帧序列中当前关键帧与设定数量的历史关键帧(生成地图点来更新当前局部地图点，进而更新全局地图点；步骤S6、不断重复执行步骤S4和S5，则得到不断更新的位姿和全局地图；在执行步骤S4和S5过程中，每次插入关键帧后，基于当前关键帧和历史关键帧使用机器学习的方法进行全局的闭环检测；如果确定为闭环，则利用Sim3算法和基于因子图的非线性优化方法对地图和关键帧对应的位姿，即全局位姿环进行优化。