[发明专利]基于光流跟踪和点线特征匹配的双目视觉里程计设计方法

说明书

本发明涉及一种基于光流跟踪和点线特征匹配的双目视觉里程计设计方法，属于机器人定位与导航技术领域。依次包括以下步骤：接收双目相机输入的视觉图像；使用KLT光流法跟踪点特征，并进行点特征数据关联；提取线特征和计算线特征描述子，对所提取出的线特征进行断线合并操作；前后帧之间的点、线特征分别通过光流跟踪匹配以及描述子匹配的方式进行数据关联，求得重投影误差，估计当前帧位姿；判断当前帧是否为关键帧，如果是，则提取点特征并计算点特征的描述子；如果不是，则设定当前帧的参考关键帧；局部关键帧之间的点、线特征均通过描述子匹配的方式进行数据关联，求得重投影误差，再次优化位姿；局部关键帧位姿优化后，调整非关键帧位姿。

技术领域

本发明设计属于机器人定位与导航技术领域，具体涉及一种基于光流跟踪和点线特征匹配的双目视觉里程计设计方法。

背景技术

视觉里程计(VO)作为导航系统的重要组成部分，在机器人技术中得到了广泛的应用，如无人驾驶汽车、无人机等。在这些应用中，VO的其中一种替代方案是使用惯性测量单元(IMU)，但是这种方案的缺点在于：由于它们无法精确地抵消重力效应，随着时间的推移，会积累大量误差。传统的替代方案还包括了轮式里程计以及基于GPS的导航系统等，其中轮式里程计不能取代VO的原因在于：它有较大的测量误差，长时间使用精度很差；而基于GPS的导航系统方案的缺点在于：这些系统仅限于开放的、不遮挡的室外环境使用，而且还无法估计出它们所连接的设备的方向。VO技术可以很大程度上弥补以上导航方案的缺陷，VO的另一个优点是所需的信息(由相机提供)可用于SLAM和场景识别等其他与导航相关的任务。

在现有的VO算法当中，基于光流跟踪的方法，由于不需要计算描述子和匹配描述子，可节省出很大的计算量，算法速度快，较好地满足实时性的要求。但是，光流跟踪法的缺点在于容易受光照影响，弱纹理场景效果不好，并且当相机发生大尺度移动时，无法很好地跟踪；基于点特征的方法，在相机移动尺度过大时，相较于光流跟踪法而言具有较高的鲁棒性，且由于特征点之间是通过描述子的方式进行匹配的，故算法精度较高，但是，点特征法的缺点在于：点特征的提取和匹配计算量较大，花费比较多的时间，且在弱纹理的场景中，无法正常工作；基于线特征的方法，在弱纹理的场景中，相较于点特征法而言具有较高的鲁棒性，但是缺点在于线特征的提取与匹配相较于点特征而言，计算量较大。

发明内容

要解决的技术问题

为了解决现有的VO技术中采用光流法定位精度不高以及采用点线特征方法实时性不强的问题，本发明提供一种基于光流跟踪和点线特征匹配的双目视觉里程计设计方法。

技术方案

一种基于光流跟踪和点线特征匹配的双目视觉里程计设计方法，其特征在于步骤如下：

步骤1：使用双目相机采集图像，首先将图像转换为灰度图像，然后利用自适应直方图均衡算法对图像做增强处理；

步骤2：使用KLT光流法，对前一帧图像的点特征进行跟踪，并结合双向环形匹配策略建立前后帧之间点特征的数据关联：

步骤2.1：使用KLT光流法，当前帧的左目图像跟踪上一帧的左目图像，进行点特征的跟踪匹配；

步骤2.2：筛选并补充点特征；

步骤2.3：当前帧的左、右目图像之间使用KLT光流法进行点特征跟踪匹配，进而根据例立体视觉算法计算出匹配点对应的三维坐标；

步骤3：提取当前帧的线特征：

步骤3.1：基于LSD线特征提取算法提取线特征，基于LBD线特征描述算法计算线特征描述子；

步骤3.2：对所提取到的线特征，进行断线合并操作；

步骤3.3：当前帧的左、右目图像之间进行线特征匹配；

步骤4：前后帧之间进行线特征的匹配；