[发明专利]基于行程感知与视觉融合的定位方法、系统、终端和存储介质

说明书

本发明提供一种基于行程感知与视觉融合的定位系统和终端，准备阶段，获取视觉数据和行程数据；增量对应关系转换，确定初始位置，以后一时刻j对前一时刻i行程感知设备获取行程数据中提取增量的转换关系；约束，以行程感知设备提取增量的转换关系作为约束条件约束视觉感知设备。采用行程感知设备感知车身运动的长度和航向角信息，将行程感知设备感知的长度或者轨迹信息作为相机的轨迹约束，解决了单目相机的尺度不确定问题，也能防止视觉定位误差累计和尺度漂移。此外，仅仅采用行程感知的长度约束，对于非平面场景的定位，也能起到很好的效果，不局限于平面场景。

技术领域

本发明涉及汽车电子技术领域，特别是涉及一种基于行程感知与视觉融合的定位方法、系统、终端和存储介质。

背景技术

以视觉为中心的同时定位与建图(simultaneous localization and mapping，简称SLAM)是通过图像匹配来同时计算摄像头的位置、姿态朝向(位姿)以及环境点云三维坐标的技术。对于单目摄像头，计算出来的轨迹与真实的轨迹长度之间存在一个未知比例因子(尺度)，使得定位和建图结果缺乏实用性；此外，单目摄像头的定位结果还容易发生尺度漂移，导致大范围不可用；本发明利用车载轮速脉冲里程计作为尺度信息约束，使得定位和建图有了真实尺度，并且提高了大范围的可用性。

当前视觉SLAM技术主要通过图像匹配，得到帧与帧的像素匹配关系，通过多视角几何方程计算出这些帧对应时刻的位姿以及匹配点的三维坐标，构成三维点云，然后重投影到图像上，通过最小化所有匹配图像点的投影误差平方和，得到最优的相机位置和点云坐标。在计算相机位置的过程中，单目摄像头不知道两帧位置的绝对长度，因而只能任意设置，这就是尺度不确定性的来源；为了解决这个问题，通常需要额外的传感器来提供尺度信息。目前最常用的解决方案包括：双(多)目、摄像头融合惯性测量单元IMU、摄像头与全球定位系统GNSS+IMU等。

双目定位和建图原理与单目基本相同，只是利用两个相机之间的光轴距离作为尺度基准可以获得真实尺度。

与IMU融合的技术方法主要利用IMU的加速度和角速度信息来获取单目的尺度。与GNSS/IMU的融合在IMU基础之上还能提供地理坐标系，但受限于GNSS的使用不是全天候的。

单目的缺点在于摄像头的轨迹与真实轨迹相差一个比例因子(尺度)，无法靠摄像头本身确定；此外单目摄像头在大范围使用时还容易发生尺度漂移，造成地图前后尺度不一致。

双目或者多目摄像头能确定相机运动的尺度，但硬件成本更高，数据传输和处理量更大，也需要摄像头有良好的校准和标定。

IMU与摄像头的组合能确定相机的尺度，但硬件要求较高：摄像头是全局快门，且与IMU有精准硬件时间同步和稳固空间刚性连接；此外还要求运动在三维空间中有充分的加速度和角速度。对于汽车而言，这些条件都不理想，因而不太实用。

摄像头与GNSS或者GNSS+IMU的融合的方案在室内或者城市楼群中不可用，不是一个全天候的方案，也面临着摄像头与IMU组合相同的问题。

目前将车身里程计与视觉融合已有相关专利和论文。如专利名称为：“Robustsensor fusion for mapping and localization in a simultaneous localization andmapping(SLAM)system”，专利号为US20050182518A1的美国专利，该专利公开了一种基于SLAM的机器人传感器融合的系统，此发明涉及允许来自多个传感器的测量结果以稳健方式组合或融合的方法和装置。例如，传感器可以对应于移动设备(例如机器人)用于定位和/或映射的传感器。可以融合测量值以估计测量值，例如估计机器人的姿势。它是通过多传感器融合来确保数据的鲁棒完整性，侧重在与传感器之间互相确认状态完整性，其实现方法是基于粒子滤波的概率函数，其实现场景也是平面。