[发明专利]一种基于像素级语义信息的SLAM方法

说明书

本发明公开了一种基于像素级语义信息的SLAM方法，将基于深度学习的目标检测模块加入到ORB_SLAM2中，很好的消除了动态目标所造成的位姿跟踪误差，但当场景中动态目标占据大部分比例时，目标检测获得的目标框进行特征点滤出，导致场景中特征点数量不足，目标跟踪丢失；本发明提出精细地在像素级别区分语义类别，目前语义分割网络的运行速度和准确度存在着反比关系，通过实时的ICNet语义分割网络获得语义信息引入ORB_SLAM2中，解决视觉特征点过少和大多数视觉特征点深度太大，导致两帧匹配时视差极小的问题，通过提取稳定的SURF特征点，并添加语义约束，有效的提升了ORB_SLAM2的性能。

技术领域

本发明涉及视觉分析系统技术领域，具体为一种基于像素级语义信息的SLAM方法。

背景技术

同时定位与地图构建(Simultaneous localization and mapping,SLAM)是一种同时获取未知环境三维结构和环境中传感器运动的技术。语义SLAM将语义信息包含到SLAM流程中，通过提供高层语义信息来增强 SLAM 系统的性能。将深度学习等人工智能方法与SLAM结合在一起，可以同时实现场景几何地图构建和语义信息提取的计算，这对于智能机器人定位与规划具有重要意义，传统方法的语义分割技术由于硬件设备的限制，只能处理灰度图像。主要是通过图像特征进行分割，并不能达到实际意义上的语义分割效果。在2012年的目标识别挑战大赛上，Krizhevsky 提出的基于AlexNet的语义分割方法，引发了将深度学习应用到语义分割领域的热潮。之后提出的语义分割算法主要是利用卷积神经网络实现，通过传统分割方法获得图像级别的处理结果，之后再利用卷积神经网络模型训练特征分类器。但这种方法还是受限于传统语义分割方法， 所以分割结果并不优秀。2015 年的 IEEE 国际计算机视觉与模式识别会议上， Long 等人提出的全卷积神经网络为语义分割技术水平带来了巨大进步。如今， 深度学习方法已经成为了实现语义分割主要方法。2018 年，由 Michaelis 等人提出的将语义分割技术与目标检测技术结合，实现了对图片中同一类别物体进行不 同的语义信息标注。 上述研究工作主要是为了弥补由于网络中不断的下采样造成的不可忽视的信息损失，以此来提高分割精度，但是精度提高的同时处理单帧图像的时间也随之增加。然而很多应用场景下，比如自动驾驶，实时性要求是不可或缺的。因此， 如何在保证精确度的同时提高分割速度成为近年来的研究重点。本发明通过对基于视觉特征的语义 SLAM 方法进行了研究，基于深度学习的像素级语义分割网络，对场景中的动态目标进行滤除。在跟踪定位中添加语义约束提高精度，并将语义信息映射到三维地图中，构建三维语义地图。

发明内容

将实时语义分割网络 ICNet 作为语义 SLAM 其中的一个线程，对输入图像帧进行语义分割得到每个特征点的语义类别，将特征点的语义类别作为约束条件添加到特征点匹配中，在计算出空间中对应地图点的坐标后也将语义类别添加到地图点中，通过地图点与投影坐标点计算相机位姿时，将语义类别作为约束进行计算。

实时语义分割

综合运行速度和准确度，选择了 ICNet 网络来进行语义分割部分的工作。ICNet 的基本内容：如图 1所示，ICNet 将图片分为缩放尺度为 1、1/2、1/4 三路输入到网络中，其中分辨率最低的输入，通过一个基于全连接卷积网络 FCN 的PsP金字塔场景解析网络架构，输出只有原始图像尺寸 1/32 的特征图。对于原始图像1/2尺寸的中分辨率输入图像，通过几个降采样率为 8 的卷积层，输出原始图像尺寸1/16的特征图。对于原始图像，也是通过卷积层处理，得到 1/8 尺寸的特征图。将每个分辨率下的输出特征图上采样 两倍，通过图中的CFF 单元将图通分辨率输入的级联特征进行融合。训练ICNet网络时，定义损失函数：