[发明专利]基于光流跟踪和点线特征匹配的双目视觉里程计设计方法

权利要求书

1.一种基于光流跟踪和点线特征匹配的双目视觉里程计设计方法，其特征在于步骤如下：

步骤1：使用双目相机采集图像，首先将图像转换为灰度图像，然后利用自适应直方图均衡算法对图像做增强处理；

步骤2：使用KLT光流法，对前一帧图像的点特征进行跟踪，并结合双向环形匹配策略建立前后帧之间点特征的数据关联：

步骤2.1：使用KLT光流法，当前帧的左目图像跟踪上一帧的左目图像，进行点特征的跟踪匹配；

步骤2.2：筛选并补充点特征；

步骤2.3：当前帧的左、右目图像之间使用KLT光流法进行点特征跟踪匹配，进而根据例立体视觉算法计算出匹配点对应的三维坐标；

步骤3：提取当前帧的线特征：

步骤3.1：基于LSD线特征提取算法提取线特征，基于LBD线特征描述算法计算线特征描述子；

步骤3.2：对所提取到的线特征，进行断线合并操作；

步骤3.3：当前帧的左、右目图像之间进行线特征匹配；

步骤4：前后帧之间进行线特征的匹配；

步骤5：基于前后帧之间点特征的数据关联结果，采用PNP位姿估计方法获得当前帧的初始位姿估计；

步骤6：利用前后帧之间的点特征和线特征的重投影误差所构建的代价函数，对当前帧的位姿进行优化调整；

步骤7：判断当前帧是否为关键帧，如果是，则执行步骤8；如果不是，则设定上一个关键帧为当前帧的参考关键帧，然后，跳转至步骤12；

步骤8：提取当前帧的点特征：

步骤8.1：采用ORB算法对当前帧进行点特征的提取和描述；

步骤8.2：当前帧的左、右目图像之间的点特征通过描述子匹配的方式，进行稀疏立体匹配；

步骤9：局部关键帧之间进行点、线特征的数据关联；

步骤10：利用局部关键帧之间的点特征和线特征的重投影误差所构建的代价函数，对局部关键帧的位姿进行再次的优化调整；

步骤11：对非关键帧的位姿进行调整；

步骤12：输出全部图像帧的位姿。

2.根据权利要求1所述的一种基于光流跟踪和点线特征匹配的双目视觉里程计设计方法，其特征在于：所述步骤2中的双向环形匹配策略指的是：将上一帧左目图像中的特征点集通过双向KLT光流法的方式在当前帧左目图像中跟踪匹配到特征点集将当前帧左目图像中的特征点集通过双向KLT光流法的方式在当前帧右目图像中跟踪匹配到临时特征点集X1；将当前帧右目图像中的临时特征点集X1通过双向KLT光流法的方式在上一帧右目图像中跟踪匹配到临时特征点集X2；判断临时特征点集X2中的特征点是否落入原特征点集中的原特征点的领域范围，对落入领域范围以外的特征点从X2中删除，同时根据X1与X2的匹配关系，从X1中删除对应于X2中已删除的那些特征点，从而获得当前帧右目图像中的特征点集

3.根据权利要求1所述的一种基于光流跟踪和点线特征匹配的双目视觉里程计设计方法，其特征在于：所述步骤4中，成功匹配的两条线段l₁,l₂满足了以下条件：

(1)LSD检测的线段具有方向性，两匹配线段的方向向量的夹角小于φ；

(2)两线段的长度的比值

(3)计算两线段重叠区域的长度l_overlap，

(4)对应LBD特征向量的距离小于ρ_T，并且是其中距离最小的。

4.根据权利要求1所述的一种基于光流跟踪和点线特征匹配的双目视觉里程计设计方法，其特征在于：所述步骤7中，关键帧的判断原则为：同时满足下列条件：

(1)与上一个关键帧之间至少含有20个图像帧；

(2)至少成功追踪到了50个点特征和15条线特征；

(3)与上一个关键帧之间的共视点、线特征信息少于75％。