[发明专利]基于实例分割的视觉SLAM方法

说明书

本发明提供一种基于实例分割的视觉SLAM算法，首先在对输入图像提取特征点的同时，使用卷积神经网络对图像进行实例分割；其次利用实例分割信息辅助定位，剔除容易造成误匹配的特征点，缩小特征匹配的区域；最后使用实例分割的语义信息构建语义地图，实现机器人对已建地图的复用与人机交互。本发明使用TUM数据集分别对图像实例分割、视觉定位以及语义地图构建进行了实验验证。实验结果表明，将图像实例分割与视觉SLAM相结合可以增加图像特征匹配的鲁棒性，加快特征匹配速度，提高移动机器人定位的准确性；并且该算法可以生成精确的语义地图，满足机器人执行高级任务的需求。

技术领域

本发明涉及视觉图像技术领域，具体涉及一种基于实例分割的视觉SLAM方法。

背景技术

SLAM算法即是移动机器人从未知环境的某一地点出发，在运动过程中重复地读取传感器观测数据，分析获取环境特征与自身位置姿态，并以此实时的构建周围环境的增量式地图。其中，视觉传感器相比于其他传感器能够获得更丰富的图像信息，同时视觉传感器轻巧廉价、易于安装，因此基于视觉传感器的SLAM研究成为了当下研究热点。视觉SLAM的实现主要有特征点法和直接法,其中，直接法完全依靠搜索图像像素梯度来估算机器人位姿，这就要求机器人移动不能特别剧烈，同时直接法还需要假设机器人在运动过程中采集到的图像的灰度值不变，这些条件在现实环境中不可能完全满足，因此直接法只能够在特定的环境中使用。而特征点法则利用图像中的局部特征点进行特征匹配，通过匹配的特征点来进行位姿估计，它具有运行稳定、对光照及动态物体不敏感等优点。

目前典型的视觉SLAM方法仍然存在以下几个问题：一是在特征匹配的过程中容易受到噪声和误匹配点的干扰，鲁棒性较差。二是无法从场景中提取语义信息，仅能生成包含几何信息的地图，无法满足机器人执行更高级任务的需求。

发明内容

针对当前视觉同步定位与地图构建(Visual Simultaneous Localization andMapping，VSLAM)算法位姿估计鲁棒性差、定位精度较低以及无法生成适合自主导航的语义地图等问题，本发明提出了一种基于实例分割的视觉SLAM算法。本发明利用视觉SLAM技术与实例分割技术实现了移动机器人位置信息和语义信息的融合。首先通过MASK R-CNN检测出图像中各个物体的类别及其相对位置，并根据检测信息将图像划分为不同的实例区域，输出各个实例区域的掩模(MASK)，再根据视觉图像上各个实例区域，对SLAM算法中特征匹配过程进行优化，提高定位的鲁棒性与精确度，最后根据实例区域语义信息构造语义地图，以满足移动机器人执行智能化任务的要求。

具体的技术方案为：

基于实例分割的视觉SLAM方法，包括以下步骤：

(1)对深度相机采集的视觉图像进行ORB特征点提取，采用图像的ORB特征作为视觉SLAM的路标特征；

(2)构建MASK R-CNN模块，利用生成的掩模信息对ORB特征点进行筛选；

所述的MASK R-CNN模块框架：

MASK R-CNN模块并行完成目标分类、目标定位、语义分割三项任务；主要由卷积神经网络构成，通过多分支子网络并行实现端到端的实例分割；

所述的MASK R-CNN模块的构建过程如下：

步骤一：将图像输入主干网络，生成特征图；

主干网络的卷积层由MASK R-CNN整体共享，主要的功能是学习并提取图像特征；使用深度残差网络以及特征金字塔网络相互结合构建主干网络；