[发明专利]基于实例分割的视觉SLAM方法

摘要

本发明提供一种基于实例分割的视觉SLAM算法，首先在对输入图像提取特征点的同时，使用卷积神经网络对图像进行实例分割；其次利用实例分割信息辅助定位，剔除容易造成误匹配的特征点，缩小特征匹配的区域；最后使用实例分割的语义信息构建语义地图，实现机器人对已建地图的复用与人机交互。本发明使用TUM数据集分别对图像实例分割、视觉定位以及语义地图构建进行了实验验证。实验结果表明，将图像实例分割与视觉SLAM相结合可以增加图像特征匹配的鲁棒性，加快特征匹配速度，提高移动机器人定位的准确性；并且该算法可以生成精确的语义地图，满足机器人执行高级任务的需求。

主权项

1.基于实例分割的视觉SLAM方法，其特征在于，包括以下步骤：/n(1)对深度相机采集的视觉图像进行ORB特征点提取，采用图像的ORB特征作为视觉SLAM的路标特征；/n(2)构建MASK R-CNN模块，利用生成的掩模信息对ORB特征点进行筛选；/n所述的MASK R-CNN模块框架：/nMASK R-CNN模块并行完成目标分类、目标定位、语义分割三项任务；主要由卷积神经网络构成，通过多分支子网络并行实现端到端的实例分割；/n(3)利用实例分割掩模信息进行图像特征匹配并估算机器人位姿；解决相邻两帧图像F