[发明专利]基于几何特征的跨视角视觉定位方法、装置和计算机设备

说明书

本申请涉及一种基于几何特征的跨视角视觉定位方法、装置和计算机设备。该方法利用空中图像比地面视角覆盖范围广、无人机灵活的优势，基于VINS‑MONO提取关键帧并构建空中视角下的全局直线特征地图，并通过聚类不同直线得到包含城市建筑物位置信息的聚类地图，地面移动机器人利用VINS‑MONO获取里程计信息并生成局部线特征地图，通过深度学习结合建筑物位置约束与空视线特征地图进行粗定位，然后利用2D‑3D线匹配和位姿估计得到准确位姿。本方法通过由粗定位到准确位姿估计的方式实现跨视角视觉定位，为卫星导航强拒止条件下移动机器人在城市复杂环境中的自主能力提供技术支撑。

技术领域

本申请涉及视觉定位技术领域，特别是涉及一种基于几何特征的跨视角视觉定位方法、装置和计算机设备。

背景技术

视觉定位(Visual Localization)是基于视觉信息的模式识别任务，具体指给定某一地点图像，在预先构建的地图中获取其位置信息或精确的6自由度位姿。在城市大范围复杂环境下，受地形、遮挡物、路面状况以及搭载摄像头的交通工具移动能力等多方面因素的制约，构建纯地面视角的大范围地图非常困难。而无人机能够覆盖范围广且不会受到地形地貌和建筑物的干扰。因此，使用无人机航拍方式构建城市俯视地图，再将其用于地面移动机器人的定位是一种可能的解决方案。但航拍视角构建的地图与地面视角图像进行跨视角定位面临众多的困难与挑战：一是地图的通用性问题。选用何种特征使空中视角构建的特征地图能够被地面移动机器人使用于定位是一个极具挑战的问题。二是跨视角位姿估计问题。跨视角图像外观差异很大，同一地点空-地图像匹配对人眼而言都极具挑战，现有方法在跨视角下图像匹配性能接近于随机选择；且地面视角图像受动态目标遮挡、不同地点相似外观干扰等因素影响，导致跨视角位姿求解面临极大的困难。

发明内容

基于此，有必要针对上述技术问题，提供一种基于几何特征的跨视角视觉定位方法、装置和计算机设备。

一种基于几何特征的跨视角视觉定位方法，所述方法包括：

获取空中视角城市环境图像序列和地面视角城市环境图像序列。

将所述空中视角城市环境图像序列基于VINS-MONO提取关键帧图像和位姿信息，并根据提取的关键帧图像构建空中视角下的全局直线特征地图。

将所述地面视角城市环境图像序列基于VINS-MONO提取关键帧图像和位姿信息，并根据提取的关键帧图像构建地面视角下的局部直线特征地图。

根据所述全局直线特征地图进行聚类，得到空视建筑物聚类地图。

根据所述局部直线特征地图进行聚类，得到地面视角建筑物聚类地图。

根据所述空视建筑物聚类地图、所述地面视角建筑物聚类地图、以及空中视角和地面视角的关键帧图像和位姿信息，采用深度学习结合建筑物位置约束的方法进行粗定位，得到地面视角关键帧图像在全局直线特征地图中粗定位结果；

根据所述全局直线特征地图、所述粗定位结果以及地面视角下的关键帧图像和位姿信息，采用2D-3D匹配和位姿估计，得到地面视角关键帧图像的6自由度位姿。

一种基于几何特征的跨视角视觉定位装置，所述装置包括：

跨视角图像序列获取模块，用于获取空中视角城市环境图像序列和地面视角城市环境图像序列。

跨视角直线地图构建模块，用于将所述空中视角城市环境图像序列基于VINS-MONO提取关键帧图像和位姿信息，并根据提取的关键帧图像构建空中视角下的全局直线特征地图；将所述地面视角城市环境图像序列基于VINS-MONO提取关键帧图像和位姿信息，并根据提取的关键帧图像构建地面视角下的局部直线特征地图。