[发明专利]一种基于像素级语义信息的SLAM方法

权利要求书

1.一种基于像素级语义信息的SLAM 方法，其特征在于：将实时语义分割网络 ICNet作为语义 SLAM 其中的一个线程，对输入图像帧进行语义分割得到每个特征点的语义类别，将特征点的语义类别作为约束条件添加到特征点匹配中，在计算出空间中对应地图点的坐标后也将语义类别添加到地图点中，通过地图点与投影坐标点计算相机位姿时，将语义类别作为约束进行计算。

2.根据权利要求1所述的一种基于像素级语义信息的SLAM 方法，其特征在于：基于经典 ORB_SLAM2 系统设计像素级语义 SLAM 系统，利用实时语义分割模型对 ORB_SLAM2 筛选出的图像关键帧进行语义标记，对于每一帧输入图像，在跟踪部分是否能够作为关键帧插入由以下四点中的一点决定，四者条件为或的关系：

1) 距离上一次全局重定位操作已经过去了超过 20 帧输入图像；

2) 局部地图已经暂停或者距离上一次插入关键帧已经过去了超过 20 帧输入图像；

3) 当前帧中跟踪到的特征点超过 50 个；

4) 当前帧中跟踪到的地图点比参考关键帧要多90%以上；

对于筛选出的关键帧Ki，其组成部分包括相机位姿、相机内参和提取出的所有ORB 特征点；对每一个关键帧 Ki 进行语义分割获得对应的语义分割图Si，其大小和关键帧大小相同，Ki 中提取出的特征点集合，对应在语义分割图Si 中对应点集合，其中集合中各个点所在位置的 RGB 值对应了语义类别集合C中的一类。

3.根据权利要求2所述的一种基于像素级语义信息的SLAM 方法，其特征在于：计算出该点在世界坐标系下的坐标后，根据该点在图片中对应的语义类别标注颜色，便可生成带有语义信息的三维点云地图；每个点云的组成部分包括三维世界坐标、视角、对应 ORB 特征点的描述符和该点被观测到的最大距离和最小距离，在获得对应特征点的语义类别后，更新地图点对应的语义类别，当新的图像帧 Xi 到达时，首先提取特征点得到特征点集合，与此同时语义分割线程对该帧进行语义分割获得对应的语义分割图像Si，获得相应的语义标记，其中，根据不同的跟踪方式，当前帧与参考帧进行特征点匹配时或者与三维地图点投影匹配时，添加语义约束进行优化，由于系统只需要对关键帧进行语义分割，并且使用的语义分割网络ICNet可以达到实时性能，将ICNet作为线程加入到 ORB_SLAM2 方法中同样能够保证系统的实时性。

4.根据权利要求1所述的一种基于像素级语义信息的SLAM 方法，其特征在于：针对语义约束，在 ORB_SLAM2 中增加线程，并行运行实时语义分割ICNet 网络对每一帧图像进行分割并保存分割结果，同时维护 n 帧的 SURF 特征点提取结果，当 ORB 特征点缺失，或者大部分匹配特征点在两帧之间视差小于阈值时，对当前帧的 SURF 特征提取结果和语义分割结果与前面保存的 N 帧结果进行匹配，首先对SURF特征进行匹配，然后根据语义分割结果进行筛选，最后根据保留的匹配点对集合通过RANSAC 算法进行提出误匹配，获得最终的位姿变换结果。