[发明专利]一种基于语义分割的剔除语义SLAM动态点的方法

说明书

本发明公开了一种基于语义分割的剔除语义SLAM动态点的方法，包括如下步骤：1)使用PSPNet语义分割网络对图像帧进行语义分割，按照像素分割结果进行分类；2)提取新帧I的ORB特征并计算描述子，再将新帧I与F匹配；3)设定阈值M；4)根据运动e对特征点进行动态点和静态点分类；5)将分类所得的静态点集关联语义标签，构建局部语义地图；6)重复步骤1)‑步骤5)，并更新局部语义地图，直至局部地图全部构建完成，得到全局地图。这种方法能剔除环境中对系统精度影响较大的动态特征点，利用静态特征点构建高精度，含有语义信息，可解释的Octomap。

技术领域

本发明涉及ORB-SLAM2室内定位系统动态特征点剔除和语义Octomap地图构建的室内定位技术领域，具体是一种基于语义分割的剔除语义SLAM动态点的方法。

背景技术

对于同时定位与地图构建任务，视觉SLAM是最好的选择之一。近30年来，许多优秀的学者对视觉SLAM领域作出了卓越的贡献，使得现阶段视觉SLAM已经取得很好的表现，并已部分投入使用。例如ORB-SLAM2,RGB-D SLAM-V2。由于其具有传感器采集速度快、成本低，能满足实时运行和良好的准确率等优点而被广为应用。但是传统的SLAM的基本假设是环境的变化是缓慢的，可以通过系统运行慢慢更新。这一假设使得在可移动物体较多的场景中，视觉SLAM会造成较大的轨迹误差。语义SLAM通过对场景对象做语义分析，为系统定位与导航提供周围环境的语义信息，可以很好地弥补传统视觉SLAM在动态场景中的不足。

语义SLAM构建场景的几何信息和语义信息。几何信息通过传感器跟踪特征点获得，语义信息则基于深度神经网络(deep CNN)对地图对象进行语义分割获得。通过感知周围环境的语义信息，可以有效剔除动态物体带来的误差。然而语义分割同样面临对象边缘分割不准以及在多样场景中外形相似的物体容易出现错误分割的情况。

发明内容

本发明的目的是针对现有技术的不足，而提供一种基于语义分割的剔除语义SLAM动态点的方法。这种方法能剔除环境中对系统精度影响较大的动态特征点，利用静态特征点构建高精度，含有语义信息，可解释的Octomap。

实现本发明目的的技术方案是：

一种基于语义分割的剔除语义SLAM动态点的方法，包括如下步骤：

1)使用PSPNet语义分割网络对图像帧进行语义分割，按照像素分割结果进行分类：

在使用PSPNet对语义SLAM进行动态点剔除过程中，将PSPNet与ORB-SLAM2结合，使用PSPNet语义分割网络对图像帧进行语义分割，语义分割过程如下：对RGB图像帧F提取ORB特征点并计算描述子，对前端视觉里程计输入新帧I，输入图像经过卷积神经网络进行特征提取，提取的特征通过金字塔池化模型得到多尺度的特征信息，通过上采样将多尺度的特征信息整合，最后通过PSPNet的卷积层将整合后的特征信息完成像素分类，给相应的分类附上对应的标签；

2)提取新帧I的ORB特征并计算描述子，再将新帧I与F匹配：

将新帧I与F匹配，若不匹配则舍弃该帧；若匹配则计算匹配特征点的运动大小e，按公式(1)计算：

e＝|Δt||+min(2π-||R||,||R||) (1)，

其中t为匹配的平移向量，R为旋转矩阵；

3)设定阈值M：根据实际系统实验，设定合适的阈值M；

4)根据运动e对特征点的进行动态点和静态点分类：

分类过程如下：若e＜M，该点归为静态点；否则，该点归为动态点；对剩余的特征点检查他们的语义分类，若属于先验动态对象，那么将该点也归为动态点；

5)将分类所得的静态点集关联语义标签，构建局部语义地图：