[发明专利]一种融合场景语义的室外单目同步建图与定位方法

说明书

本发明公开了一种融合场景语义的室外单目同步建图与定位方法。获取训练数据集，构建训练实时语义分割网络，接收单目相机图像输出语义分割结果图，获得语义类别标签；实时通过SLAM前端模块的视觉里程计接收单目相机图像，获取特征点和描述子，组建语义特征点；利用语义特征点建立语义地图，匹配更新语义地图点的语义类别标签统计信息；在SLAM后端模块接收不同时刻视觉里程计测量的单目相机位姿，利用位姿构建最小二乘优化重投影误差时，加入语义权重优化。本发明将场景语义融入到SLAM系统中，根据语义分割结果进行动态物体滤除，根据语义类别标签为特征点分配不同的优化权重，有效提升了整个SLAM系统的定位精度，计算代价小，实时性强。

技术领域

本发明涉及一种移动机器人或智能车辆的建图和定位方法，特别是涉及了一种融合了场景语义信息的移动机器人或智能车辆的建图和定位(SLAM)方法。

背景技术

SLAM，全称为Simultaneous localization and mapping，译为同步建图与定位，希望机器人从未知环境的未知地点出发，在运动过程中通过重复观测到的地图特征，定位自身位置和姿态，再根据自身位置增量式的构建地图，从而达到同时定位和地图构建的目的。单目SLAM算法拥有较长的研究历史，其因为设备要求简单而得到较为广泛的使用。

传统框架如ORB-SLAM在很多场景中展现出了较好的性能。但是，因为ORB依旧基于图像的灰度特征来提取特征点，因此对于光照的变化而产生的图像灰度变化还是比较敏感，同时，在传统SLAM框架中并没有考虑特征点的重要性与所在物体的语义类别的相关性。表现在：提取到的特征点在动态物体，比如人和车上时，SLAM计算的相机位姿就很容易受到影响；特征点都在静态物体上时，不同的物体语义类别对特征定位精度也有不同的影响。随着深度学习的发展，语义分割技术得到了突破，从图像中挖掘出深层语义类别信息成为可能，语义SLAM将语义信息加入到传统SLAM框架中，通过额外提供更高层次的语义信息辅助SLAM的计算，有助于提升SLAM的鲁棒性，语义分割实时性的提升也使得语义SLAM能在更多对实时性有要求的领域发挥作用，如何更好地利用语义信息也成为近年来的研究重点。本发明通过对基于视觉特征的语义SLAM相关方法进行研究，通过基于深度学习的像素级语义分割网络获取语义信息，滤除动态目标，并在优化中加入语义权重提高优化精度，最后构建语义地图。

发明内容

为了解决背景技术中存在的问题，本发明目的在于提供一种融合场景语义的室外单目同步建图与定位方法，适用于面向室外复杂环境下的视觉建图和定位问题。

本发明在传统单目SLAM技术的支持下，获取特征点的几何信息和描述子，依靠实时语义分割网络获取语义分割结果图，获得具有语义类别标签的语义特征点，在后端优化时，使用语义权重用于当前帧位姿计算，用于闭环检测时两帧之间相对位姿计算，用于局部地图优化调整和用于全局地图优化，以提升定位效果，使定位更加精确。

本发明采用的技术方案的步骤如下：

本发明方法包括以下几个模块：

SLAM前端模块，包括实时语义分割网络和视觉里程计，持续接收单目相机捕获的图像，提取语义特征点；用于室外场景的实时语义分割网络，接收单目相机捕获的图像，输出语义分割结果图，根据语义分割结果图获得语义类别标签；

SLAM建图模块，通过语义特征点得到语义地图点，建立语义地图。

SLAM后端模块，利用语义类别标签加上语义权重进行BA(bundle adjustment)优化获得同步建图与定位的结果。

(1)获取与实际运行场景相同的训练数据集，构建并训练实时语义分割网络，将训练后的实时语义分割网络接收单目相机捕获的图像输出语义分割结果图，通过语义分割结果图获得各个像素的语义类别标签；