[发明专利]基于实例分割的视觉SLAM方法

权利要求书

1.基于实例分割的视觉SLAM方法，其特征在于，包括以下步骤：

(1)对深度相机采集的视觉图像进行ORB特征点提取，采用图像的ORB特征作为视觉SLAM的路标特征；

(2)构建MASK R-CNN模块，利用生成的掩模信息对ORB特征点进行筛选；

所述的MASK R-CNN模块框架：

MASK R-CNN模块并行完成目标分类、目标定位、语义分割三项任务；主要由卷积神经网络构成，通过多分支子网络并行实现端到端的实例分割；

(3)利用实例分割掩模信息进行图像特征匹配并估算机器人位姿；解决相邻两帧图像F₁与F₂特征点集数据的关联问题，即确定当前所观察的路标点是否与上一时刻的路标点为同一个；ORB特征点主要是通过相邻两帧图像特征点描述子的相似度进行匹配，经过特征匹配获得一组组匹配的特征点对，如式1所示：

其中，^tP表示图像帧F₁的所有特征点集合，^t-1P表示图像帧F₂的所有特征点集合；

MASK R-CNN利用边界框将视觉图像划分成有语义标记的不同实例区域，在进行特征匹配时，只需要在同一实例区域进行匹配，根据SLAM数学模型，这些特征匹配点对的变换关系如式(2)所示：

其中，^tP表示图像帧F₁的所有特征点集合，^t-1P表示图像帧F₂的所有特征点集合；R为移动机器人的旋转矩阵，T为移动机器人的平移向量；

采用最小化重投影误差的方法来求解位姿，如式3所示：

其中，^tP表示图像帧F₁的所有特征点集合，^t-1P表示图像帧F₂的所有特征点集合；R为移动机器人的旋转矩阵，T为移动机器人的平移向量,N表示特征点对的数目；

(4)利用语义信息进行回环检测；利用图像分类的语义信息构建语义地图，并实现回环检测。

利用语义信息构建语义地图，MASK R-CNN对机器人在运动过程中检测到的物体打上语义标签，并结合SLAM框架生成带有高级语义标签的语义地图。

2.根据权利要求1所述的基于实例分割的视觉SLAM方法，其特征在于，步骤(2)所述的MASK R-CNN模块的构建过程如下：

步骤一：将图像输入主干网络，生成特征图；

主干网络的卷积层由MASK R-CNN整体共享，主要的功能是学习并提取图像特征；使用深度残差网络以及特征金字塔网络相互结合构建主干网络；

步骤二：将特征图输入区域提议网络，所述的区域提议网络首先利用3*3的卷积层对原图进行滑动扫描，为图像的每个像素生成锚框，然后将锚框送入分类分支以及边框回归分支，分类分支输出每个锚框存在物体的概率；边框回归分支将锚框进行伸缩平移，使锚框更接近的回归于标记好的真实边界框，输出初步的候选框坐标及其高与宽；最后在区域提议网络末端综合两分支的结果，并利用非极大值抑制对锚框进行初步筛选，最终获得基于原图的候选区域；

步骤三：利用ROI Align对区域提议网络输出的候选区域的图像进行处理；ROI Align使用双线性内插的方法将基于原图的矩形候选框坐标映射到特征图上，并使所有映射到特征图的候选区域图像大小一致，使之符合全连接层的输入要求；

步骤四：将经过ROI Align层处理的候选区域图像送入目标检测分支及掩模预测分支，完成分类、定位、以及掩模预测任务；掩模预测利用全卷积神经网络对候选区域图像的每一个像素点进行分类，生成物体的掩模，实现对候选区域图像的语义分割。