[发明专利]一种基于改进光流法的视觉惯性里程计方法

说明书

本发明公开了一种基于改进光流法的视觉惯性里程计方法，包括以下步骤：A、利用双目相机采集图像；通过IMU传感器获取加速度和角速度信息；B、采用光流的方法对图像进行处理进行运动追踪，提取图像中的角点并进行匹配获得基于图像的位置信息；对加速度和角速度进行积分处理获得IMU传感器的位置信息并对两关键帧间IMU进行预积分；C、对基于图像的位置信息和IMU传感器的位置信息基于滑动窗口进行非线性优化和回环检测、校正求得智能设备的位姿。其基于IMU和相机的时间同步，采用光流方法替代现有的特征点法对图像进行运动追踪、角点提取，减小了算法的复杂度并节省了计算空间，精度高，实时性好，降低了计算复杂度，系统稳定性高。

技术领域

本发明涉及视觉惯性里程计领域，更具体的说是涉及一种基于改进光流法的视觉惯性里程计方法。

背景技术

实时追踪设备在未知环境中的位置和姿态问题，是增强现实、虚拟现实、导航与控制、移动机器人、无人机等领域的核心问题。基于计算机视觉和惯性测量单元融合的定位算法，由于成本低、精度高、互补性强受到越来越多的关注。这种利用设备本身的相机和IMU(Inertial Measurement Unit,惯性测量单元)信息，进行实时设备位置和姿态追踪的方法，统称为视觉惯性里程计(visual inertial odometry)。

视觉传感器在大多数纹理丰富的场景中效果很好，但是在遇到特征较少的场景，基本上无法工作；IMU长时间使用有非常大的累积误差，但是在短时间内，其相对位移数据又有很高的精度，所以当视觉传感器失效时，融合IMU数据，能够提高定位的精度。视觉惯性里程计在机器人定位中应用广泛，按照是否把图像特征信息加入到状态向量可以分为紧耦合和松耦合，而由于在精确度和鲁棒性上的优势，视觉惯性里程计多采用IMU视觉的紧耦合。紧耦合需要把图像特征引入到特征向量中，整个系统状态向量的维数会因此变得非常高，进而需要很高的计算量。

目前视觉惯性里程计大多基于特征点法，其存在以下问题：

一方面，存在特征丢失、纹理不清晰等情况，精度提升不高；

另一方面，特征点法中关键点的提取与描述计算耗时，且紧耦合方法的计算复杂度大，对实时性造成一定的影响。

发明内容

本发明为了解决上述技术问题提供一种基于改进光流法的视觉惯性里程计方法。

本发明通过下述技术方案实现：

一种基于改进光流法的视觉惯性里程计方法，包括以下步骤：

A、利用双目相机采集图像；通过IMU传感器获取加速度和角速度信息，该图像、加速度和角速度信息的时间戳同步；

B、采用二次光流的方法对图像进行处理进行运动追踪，提取图像中的角点并进行匹配获得基于图像的位置信息；对加速度和角速度进行积分处理获得IMU传感器的位置信息并对两关键帧间IMU进行预积分；

C、对图像的位置信息和IMU传感器的位置信息采用滑动窗口进行非线性优化和回环检测、校正求得智能设备的位姿。

本方法基于IMU和相机的时间同步，采用光流方法替代现有的特征点法对图像进行运动追踪、角点提取，减小了算法的复杂度并节省了计算空间，精度高，实时性好；相比于提取复杂特征耗费大量时间，降低了计算复杂度，系统稳定性高。

本发明与现有技术相比，具有如下的优点和有益效果：

1、本发明基于IMU和相机的时间同步，采用二次光流方法替代现有的特征点法对图像进行运动追踪、角点提取，减小了算法的复杂度并节省了计算空间，精度高，实时性好，降低了计算复杂度，系统稳定性高。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。