[发明专利]一种基于语义分割动态点的视觉SLAM方法

说明书

一种基于语义分割动态点的视觉SLAM方法，涉及计算机视觉技术领域。本发明通过RGB‑D相机采集环境图像信息，对所获得的图像进行特征提取和语义分割，得到提取的ORB特征点与语义分割结果；利用基于多视角几何约束的动态物体检测算法，检测出剩余动态物体并剔除动态特征点；顺次执行跟踪、局部建图以及回环检测线程，从而在动态场景下构建出准确的静态场景八叉树三维语义地图，最终实现面向动态场景的基于语义分割动态点的视觉SLAM方法。

技术领域：

本发明涉及计算机视觉技术领域，更具体地说，涉及一种基于语义分割动态点的视觉SLAM方法。

背景技术：

同时定位与建图(SLAM，simultaneous localization and mapping)的研究有着很长的历史，最初由Smith等人提出，然后被广大学者逐渐完善。它是指机器人在环境未知的状态下，通过搭载的传感器所获得的信息来估计自身的位置，并且同时对所感知的周围环境进行地图构建。视觉SLAM即以相机为传感器，完成定位和建图任务的系统，是移动机器人完成智能化任务的先决条件，已经成为当下机器人自主移动导航研究中的一个热点。

目前，研究者们已经找到了很多成熟的算法，例如集束优化，回环检测，尤其是解决了优化过程中的计算量爆发问题，再结合新出现的摄像头，发展出了多个成熟的视觉SLAM系统。不过多数视觉SLAM方案都是假设物体静止，然而在真实场景中往往出现动态目标，降低视觉里程计的鲁棒性，引起相机位姿估计不准确、无法构建全局一致的地图。此外，视觉SLAM构建的几何地图维护的是环境中的几何信息，一般是包括空间特征点的稀疏路标地图，或者是可以用于导航避障的点云稠密地图，无法满足机器人与环境交互的高级语义任务需求。

近年来，随着深度学习技术的发展，人们开始将目标检测或者语义分割等方法，引入到语义地图的构建中。语义地图，具体来说就是包含物体位置和物体属性信息。通过搭载的相机采集的图像，不仅仅可以通过SLAM算法获取机器人的位置信息，同时结合深度神经网络的目标检测、识别的优势，可以得到更加丰富的语义信息。

发明内容：

本发明的目的是针对上述技术的不足，提供一种语义分割动态点的视觉SLAM方法，这种方法能够剔除环境中动态特征点，用静态特征点构建精度更高的语义地图。

实现本发明目的的技术方案是：

一种基于语义分割动态点的视觉SLAM方法，步骤如下：

步骤(1)通过RGB-D相机采集环境图像信息，对所获得的图像进行特征提取和语义分割，得到提取的ORB特征点与语义分割结果；

步骤(2)根据提取的特征点与语义分割结果，利用基于多视角几何约束的动态物体检测算法，检测出非先验动态物体并剔除动态特征点；

步骤(3)顺次执行跟踪、局部建图以及回环检测线程，从而在动态场景下构建出准确的静态场景八叉树三维语义地图，最终实现面向动态场景的语义分割动态点的视觉SLAM方法。

优选的是，本发明步骤(1)的具体过程如下：在相机采集到RGB-D图像数据后，首先将RGB图传递给卷积神经网络(CNN)，分离出所有先验动态物体，对图像完成语义分割任务，然后在此基础上提取图像的ORB特征点。

优选的是，作为特征提取模块的预处理部分，本方法将MaskR-CNN神经网络引入SLAM框架，为SLAM算法提供语义信息和动态目标的先验信息，使用MS COCO数据集进行训练。MaskR-CNN神经网络的输入尺寸为h×w×3的RGB图像，那么神经网络的输出是大小为h×w×l的矩阵，其中h表示图像的像素高度，w表示图像的像素宽度，l表示图像中动态物体的数量；对于每一个输出通道i∈l，都代表了一个物体的二值掩瞙，通过将所有通道输出整合到一张图像中，得到当前图像帧中所有动态物体的掩瞙；并对掩瞙进行膨胀处理，剔除在动态物体边界上的特征点。