[发明专利]一种基于语义分割动态点的视觉SLAM方法

权利要求书

1.一种基于语义分割动态点的视觉SLAM方法，其特征在于，包括如下步骤：

步骤(1)通过RGB-D相机采集环境图像信息，对所获得的图像进行特征提取和语义分割，得到提取的ORB特征点与语义分割结果；

步骤(2)根据提取的特征点与语义分割结果，在此基础上利用基于多视角几何约束的动态物体检测算法，检测出非先验动态物体并剔除动态特征点；

步骤(3)顺次执行跟踪、局部建图以及回环检测线程，从而在动态场景下构建出准确的静态场景八叉树三维语义地图，最终实现面向动态场景的基于语义分割动态点的视觉SLAM方法。

2.根据权利要求1所述的基于语义分割动态点的视觉SLAM方法，其特征在于：步骤(1)的具体过程如下：

在相机采集到RGB-D图像数据后，首先将RGB图传递给卷积神经网络(CNN)，分离出所有先验动态物体，对图像完成语义分割任务，然后在此基础上提取图像的ORB特征点；作为特征提取模块的预处理部分，本方法将Mask R-CNN神经网络引入SLAM框架，为SLAM算法提供语义信息和动态目标的先验信息，使用MS COCO数据集进行训练；Mask R-CNN神经网络的输入尺寸为h×w×3的RGB图像，那么神经网络的输出是大小为h×w×l的矩阵，其中h表示图像的像素高度，w表示图像的像素宽度，l表示图像中动态物体的数量；对于每一个输出通道i∈l，都代表了一个物体的二值掩瞙，通过将所有通道输出整合到一张图像中，得到当前图像帧中所有动态物体的掩瞙；并对掩瞙进行膨胀处理，剔除在动态物体边界上的特征点。

3.根据权利要求1所述的基于语义分割动态点的视觉SLAM方法，其特征在于：步骤(2)中，根据提取的ORB特征点与语义分割结果，在此基础上利用基于多视角几何约束的动态物体检测算法，检测出非先验动态物体并剔除其动态特征点，具体方法如下：

当局部地图中的点投影到当前帧的视角时，其测量的深度值与投影的深度值相差不大，若相差较大，则认为有动态物体遮挡了当前帧的部分视野；对于输入的每一帧图像，选择5个和它有重叠的关键帧，计算每个来自之前关键帧的特征点q在当前帧中的投影q′和当前帧中的投影深度值z_d；计算特征点q和q′两点的反投影视角差α，如果大于30°，则认为这个点可能被遮挡，该点不是动态特征点；测得当前帧剩余关键点的深度为z′，并计算得到投影深度值z_d，若投影误差Δz＝z_d-z′大于设定的阈值τ_z，关键点q被认为是一个动态特征点，从而检测出图像中剩余动态特征点。

4.根据权利要求1所述的基于语义分割动态点的视觉SLAM方法，其特征在于：步骤(3)中顺次执行跟踪、局部建图以及回环检测线程的方法如下：

视觉SLAM方法以OpenVSLAM开源视觉SLAM系统为框架，由三个模块组成：跟踪模块、地图模块和全局优化模块，其中跟踪模块是主线程，其他两个模块是同步线程；将RGB图、深度图及其语义分割掩码输入到系统中，在跟踪模块实现对图像中的静态区域提取特征点、使用光束平差法最小化重投影误差估计相机位姿和对输入的图片进行关键帧检测；在地图模块实现对剔除动态物体后的静态环境进行三维点重建、同时对相机局部位姿和三维点信息进行优化；在全局优化模块实现整个系统的回环检测和全局优化，对相机位姿和三维点位置再度优化并且避免积累误差。

5.根据权利要求1所述的基于语义分割动态点的视觉SLAM方法，其特征在于：步骤(3)中，构建静态场景八叉树三维语义地图还包括：

根据所述关键帧的相机位姿构建三维地图；

按照设定的分辨率用八叉树存储所述三维地图，其中八叉树中每个节点至少包含节点被占用概率信息。