[发明专利]一种基于IMU和轮速计紧耦合的鲁棒全景SLAM系统和方法

说明书

本发明提出了一种基于IMU和轮速计紧耦合的鲁棒全景SLAM系统和方法。包括传感器数据预处理，系统初始化，跟踪和局部地图构建四个模块，传感器数据预处理模块负责多镜头鱼眼图像的特征提取，特征球面投影，图像帧间的IMU预积分，轮速预积分。初始化模块，通过处理视觉，IMU和轮速计测量值对SLAM系统进行初始化。跟踪模块利用IMU测量值积分得到当前帧位姿，为后续优化提供初始化值，并判断当前帧是否为关键帧。局部地图构建模块负责将插入的关键帧进行处理，与之前帧匹配进行新地图点的三角化，并进行局部地图的全景视觉‑IMU‑轮速计的联合平差。本发明通过多传感器融合互补实现复杂场景下的高鲁棒性高精度定位。

技术领域

本发明涉及一种基于IMU和轮速计紧耦合的鲁棒全景SLAM系统和方法，应用于地面移动测量系统，地面轮式机器人，自动驾驶等领域。

背景技术

视觉SLAM(Visual Simultaneous Localization and Mapping)在过去20年被深入研究且已经广泛应用于机器人，自动驾驶，AR等新兴领域。现有的视觉SLAM算法可以根据前端跟踪模式的不同分为基于特征点的间接法与基于灰度信息的直接法两类。而根据后端优化方法不同，又可以分成基于滤波和基于光束法平差两种方案。在基于单目的SLAM模式下，受制于相机视场角不足的问题，当发生剧烈运动，光照变化，或者纹理稀少的情况时，无论是基于特征点法还是直接法都不够鲁棒。而全景视觉传感器可以获取周围360°的场景信息，恰好可以有效解决视场角不足的问题。但是由于视觉传感器本身的缺陷，即便使用全景相机仍然还是会发生跟踪丢失的现象。

由于IMU与视觉天然的互补特性，VIO(Visual Inertial Odometry)近几年成为了SLAM领域的研究热点。即使发生剧烈的光照变化，或纹理缺失等极端问题而导致视觉里程计发生跟踪丢失，IMU也可以在短时间内提供较好的定位结果，有效提高视觉里程计的鲁棒性。MSCKF和VINS-Mono分别为基于图优化和基于滤波两种典型VIO系统的代表。其中基于图优化的方案需要进行迭代步骤，会不断对IMU进行积分操作而导致计算量急剧上升，因此IMU预积分理论被提出。IMU预积分将帧与帧之间的绝对测量转换为相对测量，有效地解决了这一问题。在VIO系统中，可观性分析非常重要。对于常规运动，VIO系统有四个不可观方向(三个全局平移和一个全局偏航角)，但是当VIO系统的载体为地面移动平台时，常常出现匀加速度运动，导致VIO系统的尺度不可观，或者出现无旋转运动，导致VIO系统三个旋转都变为不可观。考虑到轮式机器人或者汽车可以轻易获得轮速计数据，而轮速计可以提供地面载体双轮前进方向速度，从可观性分析上证明VIO加入轮速计后可以解决上述问题。

目前并没有将多镜头组合式全景相机与IMU进行融合，同时解决轮式机器人或者车载场景下全景VIO退化问题的具体方案。

发明内容

本发明的目的是克服视觉SLAM不够鲁棒以及地面载体平台下VIO系统出现的尺度，旋转不可观的问题，而提出基于IMU，轮速计和全景相机紧耦合的一种鲁棒全景SLAM方法，同时，也为地面移动测量系统所搭载的主流传感器提供了一种新的定位建图解决方案，实现更鲁棒更高精度的定位结果。

实现本发明目的采用的技术方案是：一种基于IMU和轮速计紧耦合的鲁棒全景SLAM系统，具体包括如下模块：

传感器测量数据预处理模块，用于对传入的传感器的原始数据进行处理，包括对多镜头组合式全景相机获取的影像进行特征点提取，并将特征点投影至全景球面；IMU预积分的计算，以及轮速计预积分的计算；为后续系统初始化模块、跟踪模块、局部地图构建模块提供所需数据；

系统初始化模块，用于实现系统的初始化，包括纯全景视觉初始化以获得初始位姿并建立初始化地图；全景视觉与轮速计的几何对齐以将视觉恢复到绝对尺度之下，全景视觉与IMU的几何对齐以获取IMU的初始化参数；全景视觉、IMU和轮速计的联合平差以对IMU初始化参数进行优化；