[发明专利]一种动态场景下基于深度学习的鲁棒视觉SLAM方法

说明书

本发明公开了一种动态场景下基于深度学习的鲁棒视觉SLAM方法，属于人工智能与机器人和计算机视觉领域。本发明采用相机作为图像采集装置。首先对相机采集的图像序列利用基于深度学习的Mask R‑CNN语义分割网络将图像中的对象划分成静态对象和动态对象，动态对象的像素级语义分割作为语义先验知识并剔除动态对象上的特征点；利用对极几何特性的几何约束进一步检查特征是否是动态特征；结合局部建图和回环检测模块构成完整的鲁棒视觉SLAM系统。本发明可以很好的减小SLAM系统的绝对轨迹误差和相对位姿误差，提高SLAM系统位姿估计的准确性和鲁棒性。

技术领域

本发明属于人工智能与机器人和计算机视觉领域，特别涉及基于动态场景下基于深度学习的鲁棒视觉SLAM方法。

背景技术

近年来，同时定位与地图构建(simultaneous localization and mapping,SLAM)已成为人工智能与机器人和计算机视觉的一个重要研究领域，动态场景下的定位与建图是其中一个热门的研究方向，广泛应用于室内服务机器人、室外自动驾驶汽车等方面。

目前大多数视觉SLAM方法基于观测环境是静态的假设，由于现实环境中包含动态对象，传统的SLAM方法很容易由于跟踪特征的错误对应或者遮挡而导致没有足够多的特征匹配从而位姿估计会发生漂移甚至丢失，从而导致系统在动态环境下精度低、鲁棒性差。

一些现有检测动态特征的方法依赖几何信息，通过定义几何约束，如果后续帧中的匹配特征距离极线很远，则被认为是动态的，或者将前一帧的特征投影到当前帧，计算特征跟踪的重投影误差，如果误差很大，则被认为是动态的，这些方法仅仅依赖几何信息从而无法建立动态对象的先验语义信息，不能提供对周围环境中动态对象的高级理解，从而导致系统在动态环境中的精度不佳；还有一些方法依赖语义信息，根据人的经验和尝试，将可以自己移动的对象视为动态物体，通过目标检测或者语义分割获取动态对象的语义信息，并剔除动态对象上的特征点，这些方法不能有效去除潜在动态对象上的不稳定特征点。

动态特征检测是构建鲁棒视觉SLAM的关键步骤，只有动态特征被很好的检测出来才能对其进行剔除，并利用稳定的静态特征点进行位姿估计。由于动态场景复杂，以及跟踪特征的错误对应或者遮挡等因素的影响，使得动态场景下检测动态特征从而构建鲁棒的视觉SLAM成为一项极具挑战性的课题。可以通过一种先进的深度学习方法来检测动态对象，使用语义分割网络对动态对象进行分割，获得动态对象的像素级语义分割作为语义先验知识，并通过运动一致性检测算法进一步检测潜在动态的移动对象，利用语义信息和几何信息结合的方法会将动态特征更好的检测出来。

发明内容

本发明的目的在于克服现有技术的上述不足，采用一种动态场景下基于深度学习的鲁棒视觉SLAM方法。该方法将语义分割技术与运动一致性检测算法相结合，首先用MaskR-CNN网络对图像进行语义分割，建立动态对象的先验语义信息，然后通过运动一致性检测算法进一步剔除属于动态物体的特征点，最后用静态特征点进行特征匹配和位姿估计。本发明可以减小SLAM系统的绝对轨迹误差和相对位姿误差，提高了SLAM系统位姿估计的准确性和鲁棒性。

本发明采用的技术方案为一种动态场景下基于深度学习的鲁棒视觉SLAM方法，该方法包括如下步骤：

(1)对相机采集的图像序列利用基于深度学习的语义分割网络将图像中的对象划分成静态对象和动态对象，动态对象的像素级语义分割作为语义先验知识；

1.1)搭建Mask R-CNN分割网络，采用Mask R-CNN网络进行潜在动态对象的语义分割。为了对动态对象进行分割并覆盖掩膜，首先设置Mask R-CNN网络模型及其损失函数，Mask R-CNN将完成掩码预测、回归预测和分类预测三个任务，损失函数使用的是平均二值交叉熵损失与二分类交叉熵损失。Mask R-CNN网络训练的总体损失函数为分类误差、回归误差和分割误差三者之和：

L＝L_cls+L_box+L_mask