[发明专利]一种基于多相机协同的全景视觉SLAM方法

权利要求书

1.一种基于多相机协同的全景视觉SLAM方法，其特征在于，采用由搭载在同一运动平台上至少2个相机实现全景视觉测量，所有相机观测视野覆盖360度环境信息并要求相邻相机的观测视野具有一定的重叠区域；所述SLAM方法包括如下步骤：

步骤S1、确定相机的数量和基线长度；并标定相机的内部参数和外部参数；

步骤S2、同步采集所有相机的视频数据，并提取各幅图像的特征点；

步骤S3、基于所有相机在同一个时刻采集的各幅图像进行特征点匹配；再基于匹配的特征点，利用三角测量方法初始化相机间视场重叠区域内的局部地图点；最后，初始化SLAM系统的全局坐标系；

步骤S4、结合相机所在的运动平台的运动模型，估计SLAM系统在全局坐标系的当前位姿；针对每台相机获得的当前帧图像，与所有相机的上一帧图像进行特征点匹配，获得特征点的匹配点对；将每台相机获得的当前帧图像的特征点与当前局部地图点进行匹配，获得特征点与地图点的匹配点对；首次执行步骤4时，当前局部地图点即为初始的局部地图点；以估计的SLAM系统当前位姿作为初始值，获得特征点的匹配点对的投影误差以及特征点与地图点的匹配点对的重投影误差，得到两个误差项，使用非线性集束优化两个误差项，获取SLAM系统当前准确的位姿；

步骤S5、判断所有相机当前获取的所有图像构成的当前帧是否为关键视频帧，如果是，将其插入到关键帧序列中；利用关键帧序列中当前关键帧与设定数量的历史关键帧，生成地图点来更新当前局部地图点，进而更新全局地图点；

其中，当同时满足如下条件时，判断为关键帧：

1.)距离系统初始化或SLAM系统重定位超过15帧；

2.)局部地图线程空闲，并距离上一次关键帧插入过程超过10帧；

3.)当前帧跟踪到最近关键帧的地图点小于90％；

4.)当前跟踪地图点未在最近的关键帧中的数量超过100个；

5.)当前相前运动位移大于10个基线长度；

步骤S6、不断重复执行步骤S4和S5，则得到不断更新的位姿和全局地图；在执行步骤S4和S5过程中，每次插入关键帧后，基于当前关键帧和历史关键帧使用机器学习的方法进行全局的闭环检测；如果确定为闭环，则利用Sim3算法和基于因子图的非线性优化方法对地图和关键帧对应的位姿，即全局位姿环进行优化。

2.如权利要求1所述的一种基于多相机协同的全景视觉SLAM方法，其特征在于，所有相机重叠区域视场角总和取值范围为72到180之间。

3.如权利要求1所述的一种基于多相机协同的全景视觉SLAM方法，相机内部参数标定方法采用Scaramuzza提出的泰勒多项式相机成像模型。

4.如权利要求1所述的一种基于多相机协同的全景视觉SLAM方法，其特征在于，所述基线长度的计算方法为：

其中，θ为任一空间点与两相机光心连线的夹角，Z为深度范围，α为相机水平视场角，ψ为两个相机轴线方向的夹角，b为基线长度。

5.如权利要求1所述的一种基于多相机协同的全景视觉SLAM方法，其特征在于，所述特征点提取方法采用自适应阈值FAST-BRIEF方法。

6.如权利要求1所述的一种基于多相机协同的全景视觉SLAM方法，其特征在于，运动平台的运动估计模型采用卡尔曼滤波器进行滤波处理，再估计当前位姿。

7.如权利要求1所述的一种基于多相机协同的全景视觉SLAM方法，其特征在于，利用当前关键帧对应的所有相机在同一时刻的相机视场重叠区域生成带有尺度信息的地图点，用于来更新当前局部地图点，进而更新全局地图点。

8.如权利要求1所述的一种基于多相机协同的全景视觉SLAM方法，其特征在于，所述的闭环检测方法采用基于卷积神经网络实现弱监督学习图像检索的NetVLAD算法。