[发明专利]一种双目视觉定位方法、装置及系统

说明书

本发明实施例提供一种双目视觉定位方法、装置及系统。其中，方法包括：根据双目摄像单元在连续的两个时刻采集到的两帧图像，计算第一位姿变化信息；根据惯性测量单元在连续的两个时刻之间采集的惯性参数，计算第二位姿变化信息；分别从两帧图像中提取两帧图像上相匹配的特征点，并计算各特征点的重投影误差；将上述计算得到的结果作为通用图优化算法的节点或边，以得到优化后的用于定位的第三位姿变化信息。系统包括：双目视觉定位装置以及与之连接的双目摄像单元和惯性测量单元；所述双目摄像单元的左目相机和右目相机对称位于所述惯性测量单元的两侧。本发明实施例提供的技术方案能够提高位置姿态的估计精度和实时性。

技术领域

本发明涉及定位技术领域，尤其涉及一种双目视觉定位方法、装置及系统。

背景技术

同时定位与建图(Simultaneous Localization And Mapping，SLAM)是机器人领域的重要问题。目前，已被广泛应用到移动机器人，无人机，虚拟现实以及增强现实等领域。

目前SLAM技术分为两个部分：前端和后端。前端部分主要是传感器信息的采集，后端部分主要是对传感器信息进行处理，包括位置姿态计算、位置姿态优化、回环检测以及构图等。目前SLAM主要使用摄像头来采集信息，而摄像头很容易受到环境的影响(比如灯光，白墙，桌面等)，导致无法进行位置姿态估计。并且，目前SLAM使用的后端数据处理算法也难以满足实时性要求高的应用场景中。

可见，现有的空间定位和建图方法不仅对位置姿态的估计精度较低，实时性也较差。

发明内容

本发明实施例提供一种双目视觉定位方法、装置及系统，目的在于提高位置姿态的估计精度和实时性。

在本发明的一个实施例中，提供了一种双目视觉定位方法。该方法包括：根据双目摄像单元在连续的两个时刻采集到的两帧图像，计算第一位姿变化信息；根据所述双目摄像单元上的惯性测量单元在所述连续的两个时刻之间采集的惯性参数，计算第二位姿变化信息；分别从所述两帧图像中提取两帧图像上相匹配的特征点，并计算各所述特征点的重投影误差；将所述第一位姿变化信息和所述两帧图像上相匹配的特征点作为通用图优化算法的节点，将所述第一位姿变化信息与所述第二位姿变化信息的差值以及各所述特征点的重投影误差作为所述通用图优化算法的边，经所述通用图优化算法优化计算得到用来定位的第三位姿变化信息。

可选地，所述根据双目摄像单元在连续的两个时刻采集到的两帧图像，计算第一位姿变化信息，包括：从所述两帧图像的前一帧图像中，提取多个前帧特征点；获取所述多个前帧特征点的坐标信息；分别从所述两帧图像的后一帧图像中查找与所述多个前帧特征点相匹配的多个后帧特征点；获取所述多个后帧特征点的坐标信息；根据所述多个前帧特征点的坐标信息和所述多个后帧特征点的坐标信息，计算所述双目摄像单元的旋转变换矩阵及位移变化向量，以得到所述第一位姿变化信息。

可选地，所述获取所述多个前帧特征点的坐标信息，包括：获取所述多个前帧特征点在所述前一帧图像的左目图像和右目图像中的二维坐标；根据所述多个前帧特征点的二维坐标、所述双目摄像单元的焦距及所述双目摄像单元的基线，计算所述多个前帧特征点的深度信息；根据所述多个前帧特征点在所述前一帧图像的左目图像和右目图像中的二维坐标以及深度信息，得到所述多个前帧特征点的三维坐标。

可选地，上述方法还可包括：若从所述两帧图像的后一帧图像中未查找到与所述前帧特征点相匹配的后帧特征点；将所述第二位姿变化信息作为用于定位的第三位姿变化信息进行输出，直至从所述两帧图像的后一帧图像中查找到与所述多个前帧特征点匹配的多个后帧特征点为止。

可选地，所述根据惯性测量单元在所述连续的两个时刻之间采集的惯性参数，计算第二位姿变化信息，包括：对所述惯性测量单元在所述连续的两个时刻之间采集的惯性参数进行流形上的预积分，得到所述第二位姿变化信息。