[发明专利]一种基于动态场景的RGB-D SLAM方法和系统

权利要求书

1.一种基于动态场景的RGB-D SLAM方法，该方法包括以下步骤：

基于深度学习的语义分割网络模型以确定图像的潜在动态区域；

采用运动一致性方法确定图像中的两个连续帧图像中的特征点是否对应，判断图像中的潜在动态区域和背景区域中的待识别物是否一致；若一致，则将该潜在动态区域识别为动态区域；

分别提取潜在动态区域和背景区域中的ORB特征点，如果该ORB特征点所在的区域是动态区域，则在当前的图像帧和参考帧中删除该ORB特征点，反之则将该ORB特征点保留于潜在动态区域和背景区域中；

采用ICP算法对所述ORB特征点进行匹配以获得机器人的位姿信息。

2.根据权利要求1所述的方法，其特征在于：所述基于深度学习的语义分割网络模型以确定图像的潜在动态区域包括以下子步骤：

提取待识别物的轮廓边缘，将包含轮廓边缘的RGB图像输入Mask-RCNN模型进行语义分割，得到待识别物的掩模图像；

对待识别物的掩模图像进行轮廓修复：构建待识别物的轮廓特征，该轮廓特征包括边缘质心；获取所述边缘质心的坐标值，计算待识别物的轮廓边缘点与边缘质心的距离；若所述距离大于预设的距离阈值，则将该轮廓边缘点移除，以确定图像中潜在动态区域。

3.根据权利要求2所述的方法，其特征在于：采用canny edge算法对所述待识别物的掩模图像进行修复。

4.根据权利要求1所述的方法，其特征在于：

所述将该潜在动态区域识别为动态区域包括以下子步骤：

计算潜在动态区域的图像中的每一个像素的光流值，根据所述光流值得出各点的光流场；

采用Lucas-Kanade光流方法跟踪潜在动态区域中的待识别物的内部和外部的稀疏点，并依据所述各点的光流场，划分出图像的背景区域；

构建潜在动态区域和背景区域的标准化直方图，并确定所述标准化直方图的每个区间的范围，将所有光流向量被分配给不同的簇形成多个箱；根据每个箱中的光流向量构建潜在动态区域和背景区域的运动向量；

计算所述潜在动态区域和背景区域的运动向量的余弦相似度，若该余弦相似度大于测量运动状态公差，则确定该潜在动态区域在移动，并将该潜在动态区域识别为动态区域。

5.根据权利要求1-4任一项所述的方法，其特征在于：所述方法还包括步骤：

基于闭环检测方式和图像的所有帧之间的约束对所述位姿信息进行全局优化。

6.一种基于动态场景的RGB-D SLAM系统，该系统包括确定模块、识别模块、提取模块和初始优化模块；其中，

所述第一确定模块基于深度学习的语义分割网络模型以确定图像的潜在动态区域；

所述识别模块执行如下操作：采用运动一致性方法确定图像中的两个连续帧图像的点是否对应，判断图像中的潜在动态区域和背景区域中的待识别物是否一致；若一致，则将该潜在动态区域识别为动态区域；

所述提取模块执行如下操作：分别提取所述潜在动态区域和背景区域中的ORB特征点，如果该ORB特征点所在的区域是动态区域，则在当前的图像帧和参考帧中删除该ORB特征点，反之则将该ORB特征点保留于潜在动态区域和背景区域中；

所述初始优化模块采用ICP算法对所述ORB特征点进行匹配以获得机器人的位姿信息。

7.根据权利要求6所述的系统，其特征在于，所述确定模块包括语义分割单元和修复单元：

所述语义分割单元执行以下操作：提取待识别物的轮廓边缘，将包含轮廓边缘的RGB图像输入Mask-RCNN模型进行语义分割，得到待识别物的掩模图像；

所述修复单元执行以下操作：构建待识别物的轮廓特征，该轮廓特征包括边缘质心；获取所述边缘质心的坐标值，计算待识别物的轮廓边缘点与边缘质心的距离；若所述距离大于预设的距离阈值，则将该轮廓边缘点移除，以确定图像中潜在动态区域。

8.根据权利要求7所述的系统，其特征在于，所述修复单元采用canny edge算法对所述待识别物的掩模图像进行修复。