[发明专利]一种基于点线特征的视觉-惯性里程计状态估计方法

说明书

本发明公开了一种基于点线特征的视觉‑惯性里程计状态估计方法，目的是解决现有状态估计方法耗时长、精度不高的缺点。技术方案是先构建由数据获取模块、视觉特征追踪模块、IMU预积分模块、特征重建模块、闭环检测与重定位模块、非线性优化模块组成的基于特征点和特征线的视觉‑惯性里程计系统。数据获取模块获取单目相机图像帧和IMU数据；IMU预积分模块对IMU数据进行预积分处理；视觉特征追踪模块使用特征点和特征线之间的约束对特征点线进行追踪；特征重建模块通过点线约束进行特征三维重建；闭环检测与重定位模块基于特征点信息进行闭环检测；非线性优化模块构建非线性优化损失函数并求解，获取机器人状态。本发明可降低处理时间，提升精度。

技术领域

本发明涉及计算机图像处理、多传感融合领域，具体涉及运用“单目相机-IMU(Inertial Measurement Unit，中文名为惯性测量单元)传感套件”完成对机器人的状态估计的方法。

背景技术

SLAM(Simultaneous Localization And Mapping，即同时定位与建图)作为机器人领域一个重要分支，近年来得到了大家的广泛研究。SLAM试图解决这样的问题：一个机器人在未知的环境中运动，如何通过对环境的观测确定自身的运动轨迹，同时构建出环境的地图。 SLAM技术正是为了实现这个目标涉及到的诸多技术的总和。一个完整的SLAM系统主要包括视觉里程计部分和优化建图部分。视觉里程计部分粗略估计机器人状态，估计方法主要分为两种方法：特征点法和直接法。特征点法是目前机器人状态估计的主流方法，即首先在图像中提取特征点，对不同帧之间的特征点进行匹配，进而对匹配的特征点对做相关操作，估算相机的位姿。常用的点特征包括Harris角点、SIFT、SURF、ORB、HOG特征。不同于特征点法，直接法可以省去提取特征点的过程，直接利用图像中的灰度信息来估计机器人状态，但该方法尚不成熟，鲁棒性较差。优化建图部分根据全局信息优化机器人状态，并根据传感信息和机器人状态对机器人周围环境进行建图。

如果不需要对环境进行建图，视觉里程计就可以对机器人进行较为高效且准确的状态估计。但是仅基于一台单目相机，视觉里程计无法估计出周围环境的真实尺度，同时也会因为光线变化、运动模糊而产生较大的状态估计误差。近年来，IMU与单目相机的组合“单目相机-IMU传感套件”被更多的用在视觉里程计中，被称作视觉-惯性里程计。IMU可以很好的与单目相机形成互补，提供尺度信息以及极短时间内准确的状态估计，同时单目相机可以修正IMU长时间下的漂移问题。视觉-惯性里程计已经成为SLAM研究中一个重要领域了。

目前，大部分视觉-惯性里程计使用特征法进行特征追踪，并配合IMU数据对机器人的状态进行估计。视觉-惯性里程计的典型代表工作为VINS-Mono(VisualInertialNavigation System-Monocular，中文名为单目视觉-惯性导航系统)，2018年由TongQin等人在期刊IEEE Transactions on Robotics第34卷，第4期，第1004-1020页上发表的文章《VINS- Mono:Arobustandversatilemonocular visual-inertial state estimator》即《单目视觉-惯性导航系统：一个鲁棒且多功能的单目视觉-惯性状态估计器》提出。VINS-Mono基于单目相机对特征点进行追踪，利用IMU预积分方法对IMU测量数据进行处理，并通过将处理后的视觉信息和IMU 信息融合，估计机器人状态。