[发明专利]一种基于目标跟踪的动态场景双目视觉SLAM方法

说明书

本发明公开了一种基于目标跟踪的动态场景双目视觉SLAM方法，属于同步定位与地图构建领域，在远端采用嵌入式设备控制安装在运动体上的随动云台相机并采集图像，在服务端使用嵌入式设备部署算法，算法采用结合目标跟踪的SLAM算法排除视野内运动体自身的遮挡机构和动态物体的干扰，减小位姿计算和地图构建的误差。本发明不仅能够对动态物体进行目标检测与分割，还能够对视野遮挡物体进行分割，基于轻量目标检测网络和分布式的结构，减少资源消耗，使得算法可以部署在嵌入式设备上。

技术领域

本发明涉及同步定位与地图构建领域，尤其是一种基于目标跟踪的动态场景双目视觉SLAM方法。

背景技术

同步定位与地图构建(SLAM，Simultaneous Localization and Mapping)是指机器人在未知环境运动，在运动过程中不断检测周围环境，并根据环境中的特征，感知自身运动位姿，同时构建稀疏点云地图的算法。目前，同步定位与地图构建技术在自动驾驶、无人机、虚拟现实技术、增强现实技术等领域都有广泛的应用，为感知自身位姿提供了算法支持。

其中，SLAM算法中按工作场景又分为静态场景SLAM和动态场景SLAM。静态场景SLAM算法占大多数，指的是机器人工作环境为纯静态场景，比如ORBSLAM、VINS-MONO、LSDSLAM等。它们在静态环境下的位姿计算与地图构建非常的精确，但是在动态环境下会受动态物体的干扰而出现很大的误差。而动态场景SLAM针对动态环境对算法进行了改进以排除动态物体的干扰，以达到精确地位姿估计，比如DS-SLAM、DynaSLAM、VDO-SLAM等。

在文献[C.Yu et al.,DS-SLAM:A Semantic Visual SLAM towards DynamicEnvironments,2018IEEE/RSJ International Conference on Intelligent Robots andSystems(IROS),2018,pp.1168-1174,doi:10.1109/IROS.2018.8593691.]中提出了DS-SLAM，它是以ORBSLAM2为基础框架，结合SegNet网络作为语义分割网络的动态场景SLAM。在获取到新的图像帧时，使用语义分割网络对图像进行语义分割，将潜在运动物体区域分割出来。提取特征点后，使用随机抽样一致(RANSAC，Random Sample Consensus)计算投影点到极线距离以检查特征点移动一致性，筛选出外点。如果潜在动态物体上的外点很多，那么该物体被视为动态的，上面所有特征点都被标记为外点，然后删除所有外点。

在文献[B.Bescos,J.M.Fácil,J.Civera and J.Neira,DynaSLAM:Tracking,Mapping,and Inpainting in Dynamic Scenes,in IEEE Robotics and AutomationLetters,vol.3,no.4,pp.4076-4083,Oct.2018,doi:10.1109/LRA.2018.2860039.]中提出了DynaSLAM，它是以ORBSLAM2为框架的动态场景SLAM算法，使用Mask-RCNN作为语义分割网络。在获取到新的图像帧时，使用语义分割网络对图像语义分割，将“人”等明显动态区域直接删除，对剩下的区域进行轻量跟踪；对潜在运动物体(比如椅子、书本)进行处理：对当前帧，选择与之重叠度最大的5帧计算每个关键点到当前帧的投影和投影深度，同时生成三维点，计算关键点与三维点形成的夹角，若大于30°则认为该点被挡住，认为是动态点，不做处理。然后使用区域增长算法从动态特征点得到动态物体的掩膜。对动态物体遮挡的背景，使用前20帧的信息进行修复。

VDO-SLAM原理跟DynaSLAM差不多，也是用Mask-RCNN进行语义分割，不同的是区分动态物体的方法：VDOSLAM使用密集光流跟踪物体，使用场景流区分物体动态静态。