[发明专利]基于联合约束的语义SLAM系统及方法

说明书

本发明提出了一种基于联合约束的语义SLAM系统与方法，旨在解决解决在像素深度值不稳定情况下相机位姿计算不准确和当动态目标占据相机视野大部分空间时无法计算相机位姿的问题，通过深度约束方法提高了相机位姿估计的准确性，采用极线约束方法提高了相机轨迹的完整性。实现方法为：数据采集模块获取图像序列；神经网络模块获取检测图像和实例分割图像；联合约束模块获取不同的特征点类别集合；数据融合模块获取静态目标实例分割图像和动态目标实例分割图像；视觉前端模块获取深度相机的位姿和三维空间中的路标点集合；后端优化模块获取全局最优的深度相机位姿和路标点；语义地图模块获取语义点云地图。

技术领域

本发明属于计算机视觉技术领域，更进一步涉及一种基于联合约束的语义SLAM系统与方法，可用于复杂高动态环境中相机的位姿估计与语义地图的构建。

背景技术

同时定位与地图构建系统SLAM，在无人系统的自主导航避障上扮演着重要的角色，过去的三十年中，SLAM系统发展迅速，其主要目标是无人系统在对未知环境进行自主探索的过程中进行自身精确定位的同时能够构建环境地图。但是传统的SLAM系统建出的地图只包含环境中的点、线、面等低等级几何特征，而对于未来的无人系统，只包含简单空间信息的地图难以满足其发展需求。语义地图的独到之处在于包含了环境中物体的语义信息，三维空间的语义地图能够使无人系统正确感知周围情况，通过对环境的认知理解，能让SLAM系统提升一定的定位精度，弥补现有无人系统在环境感知，及理解的不足。语义SLAM系统在建图过程中不仅获得环境中物体的几何结构信息，识别环境中物体，同时可以获取其位置、姿态和功能属性等语义信息，从而能有效的应对复杂场景及完成更加复杂的任务。

2018年10月，西班牙萨拉戈萨大学的Berta Bescos等人在IEEE Robotics andAutomation Letters第3卷第4期发表名称为“DynaSLAM:Tracking,Mapping,andInpainting in Dynamic Scenes”的文章，提出了一种基于实例分割的SLAM系统及方法，在ORB-SLAM2的基础上，增加了动态目标检测功能，将RGB-D图像数据输入到Mask R-CNN网络中对所有具备先验动态性质的目标进行逐像素的分割，得到动态目标实例，并采用多视图几何方法检测不包含于CNN网络输出类别中的真实移动物体，通过不属于这些动态目标实例和真实移动物体的特征点匹配对计算相机位姿，解决了ORB-SLAM2 在环境中有动态目标情况下相机位姿估计不准确的问题。同时，在实例分割中将所有具备先验动态性质的目标实例分割出去，得到仅含有静态场景的图像，并使用静态场景图像构建点云地图。

然而，DynaSLAM将所有具有先验动态性质的目标去除，当这些目标在环境中是静态时，建立的静态场景地图将缺失这些物体的信息，从而使得地图构建不够准确。另一方面，在深度值不稳定的情况下，利用深度值不稳定的特征匹配对计算相机位姿将导致位姿估计误差较大，而且当动态目标占据相机视野中的大部分空间时，因为环境中的匹配点不足，会导致DynaSLAM无法计算相机位姿，从而出现丢帧现象，相机的轨迹将会不完整。

发明内容

本发明的目的在于克服上述已有技术的不足，提出了一种基于联合约束的语义SLAM系统及方法，用于解决在像素深度值不稳定情况下相机位姿计算不准确和当动态目标占据相机视野大部分空间时无法计算相机位姿的问题，以提高相机位姿的准确性和相机轨迹的完整性，同时解决具有运动性质的物体在静止时无法在点云地图中构建的问题，获取更准确的点云地图。

为实现上述目的，本发明采取的技术方案为：

一种基于联合约束的语义SLAM系统，包括数据采集模块、神经网络模块、联合约束模块、数据融合模块、视觉前端模块、后端优化模块和语义地图模块，其中：

数据采集模块，采用深度相机，用于采集室内环境的多帧深度图像和彩色图像，以获取深度图像序列和彩色图像序列；