[发明专利]一种视觉定位方法和装置

说明书

本申请公开了一种视觉定位方法，应用于直接法里程计，该方法包括，将来自图像数据流的每帧图像输入直接法里程计进行前端处理，并选取出关键帧；依据里程计的运动状态触发基于关键帧的视觉重定位；将视觉重定位结果的约束融合到直接法里程计目标函数中；通过最小化目标函数求解相机位姿。本申请结合了直接法里程计精度高和适用于少纹理区域的优点以及特征点法易于构建地图进行重定位消除累积误差的优点，有效地降低了直接法里程计的累积误差。

技术领域

本发明涉及计算机视觉领域，特别地，涉及计算机视觉中的一种视觉定位方法以及装置。

背景技术

视觉定位是通过视觉信息和构建的视觉地图来获取稳定准确的相机位姿，例如，机器人通过图像信息和特征地图信息的匹配获取机器人当前相机位姿的过程。相机位姿用六个维度描述，分别是位置(三维坐标位置)、姿态(三维)。

视觉里程计(VO，visual odometry)是进行视觉定位常用方法之一，目标是根据拍摄的图像估计相机的运动，具体而言，是通过图像信息增量式地获取相机位姿的方法，其通过分析一系列图像序列来确定机器人(相机)的朝向和姿态，即，估计机器人的位置和姿态随时间的变化。视觉里程计基本过程是：获取视频流(主要为灰度图像)，记录在t和t+1时刻获得的图像为I_{t}和I_{t+1}，通过相机标定获得相机的内部参数，将获得图像和摄像头的内部参数作为视觉里程计的输入，通过算法模型处理后，输出每一帧图像所对应的相机位置和姿态。

按照视觉里程计中的算法模型的处理方式，视觉里程计包括直接法和特征点法。其中，直接法里程计方法使用像素点，通过最小化某些像素点的光度误差来计算相机位姿与图像点的位置，所谓光度误差即是最小化目标函数，通常由图像之间的误差决定。

为方便说明直接法的原理，以下以DSO(Direct Sparse Odometry)算法为例来说明。直接法将数据关联(data association)与位姿估计(pose estimation)放在了一个统一的非线性优化问题中，由于这个原因，成为一直求解一个比较复杂的优化问题。每一个三维点，从某个主导帧(host frame)出发，乘上深度值之后投影至另一个目标帧(targetframe)，从而建立一个投影残差(residual)。只要残差在合理范围内，就可以认为这些点是由同一个点投影的。从数据关联角度看，在这个过程中并没有a1-b1,a2-b2这样的关系，也可能存在a1-b1,a2-b1,a3-b1这样的情况，其目标是尝试把每个点投影到所有帧中，计算它在各帧中的残差，而并不在意点和点之间的一一对应关系。

从后端来看，直接法视觉里程计使用一个由若干个关键帧组成的滑动窗口作为它的后端。这个窗口在整个VO过程中一直存在，并有一套方法来管理新数据的加入以及老数据的去除。具体来说，这个窗口通常保持5到7个关键帧。前端追踪部分，会通过一定的条件，来判断新来的帧是否可作为新的关键帧插入后端。同时，如果后端发现关键帧数已经大于窗口大小，也会通过特定的方法，选择其中一个帧进行去除。被去除的帧并不一定是时间线上最旧的那个帧，而是会有一些复杂条件的。

后端除了维护这个窗口中的关键帧与图像点外，还会维护与优化相关的结构。例如，试图将每个先前关键帧中的图像点投影到新关键帧中，形成残差项。同时，会在新关键帧中提取未成熟点，并希望它们演变成正常图像点。在实际当中，由于运动、遮挡的原因，部分残差项会被当作外点(outlier)，最终剔除；也有部分未成熟图像点无法演化成正常图像点，最终被剔除。所有的残差加起来，就构成了需要求解的优化问题，优化的目标是最小化光度误差。

这样，滑动窗口内部构成了一个非线性最小二乘问题。表示成因子图(或图优化)的形式，如附图1所示。每一个关键帧的状态为八维：六自由度的运动位姿加上两个描述光度的参数；每个图像点的状态变量为一维，即该点在主导帧(Host)里的逆深度。于是，每个残差项(或能量项E)，将关联两个关键帧与一个逆深度。事实上，还有一个全局的相机内参数亦参与了优化，但未在此图中表示。