[发明专利]基于语义SLAM的动态环境相机位姿估计及语义地图构建方法

说明书

本发明属于计算机视觉技术领域，具体涉及了一种基于语义SLAM的动态环境相机位姿估计及物体级语义地图构建方法，旨在解决现有技术在动态环境下相机位姿估计精度低以及所建地图对环境表达不充分的问题。本发明包括：采集RGB‑D图像序列，使用神经网络模型进行实例分割，自适应生成运动判定阈值，结合语义类别和极线约束关系检测处于运动状态的目标物体，滤除当前帧各运动目标的特征点，估计相机位姿。对目标前景和非目标背景分别建模，跟踪动态目标前景，并进行2D‑3D语义关联，建立前景‑背景独立的物体级语义地图。本发明动态场景下相机位姿估计精度高，所建地图能够对环境进行物体级的语义表达，有较高的鲁棒性和稳定性。

技术领域

本发明属于计算机视觉技术领域，具体涉及了一种基于语义SLAM的动态环境相机位姿估计及语义地图构建方法。

背景技术

即时定位与地图构建(SLAM,Simultaneous localization and mapping)技术能够在未知环境下，通过传感器不断捕捉环境信息，实时进行相机自身位姿估计，并同时构建三维地图。在过去的三十年中，SLAM技术飞速发展，在机器人、自动驾驶、增强现实等领域都扮演着重要的角色。

然而，传统SLAM系统所建的三维地图仅包含点、线、面等描述三维空间几何结构的低层信息，难以满足更复杂的应用需求。语义SLAM技术结合了传统SLAM技术与基于深度学习的语义分割技术，能够构建同时包含几何信息和语义信息的三维地图，提供高层信息表达，进一步加深对未知环境的理解。但是，语义SLAM技术仍处于发展阶段，还存在以下问题：

第一，在动态场景下，传统SLAM系统难以精确估计的相机位姿轨迹，现有语义SLAM系统一定程度上利用语义信息解决了这个问题。如Berta Bescos等人提出的DynaSLAM、Chao Yu等人提出的DS-SLAM，这些语义SLAM系统使用不同方法检测动态物体，剔除动态物体范围内的全部特征点。但一方面，这些方法仅针对了某一类语义类别，没有考虑场景中多类物体的不同影响。另一方面，这些方法会误剔除属于静态目标的特征点，造成相机位姿的估计误差，甚至跟踪丢失。

第二，现有语义SLAM技术未能对场景中的动态物体跟踪建图。如DynaSLAM仅对静态背景进行了建图，DS-SLAM并未对动态目标进行跟踪，其他如McCormac J等人提出的SemanticFusion系统则仅进行了静态场景下的语义关联。这些语义SLAM系统所建的三维地图都仅针对静态场景，不能适应场景中物体的动态变化，地图的表达能力和稳定性不足。

总的来说，现有SLAM系统难以在动态场景下精确估计的相机位姿轨迹，以及无法构建语义地图动态环境下的语义地图，实现相机的准确定位和环境信息的高层次表达。

发明内容

为了解决现有技术中的上述问题，即现有技术在动态环境下相机位姿估计精度低以及所建地图对环境表达不充分的问题，本发明提供了一种基于语义SLAM的动态环境相机位姿估计和物体级建图方法，该方法包括：

步骤S10，通过RGB-D相机获取设定帧数的室内环境彩色图像、深度图像，并基于时间戳匹配图像，获得彩色图像序列、深度图像序列；

步骤S20，分别提取彩色图像序列中每一帧的ORB特征点，获得第一特征点集；通过深度神经网络Mask R-CNN对所述彩色图像序列逐帧进行实例分割，获得各帧彩色图像的实例分割结果；所述实例分割结果包括彩色图像的语义mask以及各物体的物体类别、位置框；

步骤S30，基于各物体的先验运动权重、基础运动判定阈值，分别获取各类别物体的运动判定阈值，结合所述彩色图像的语义mask以及各物体的物体类别、位置框，获取处于运动状态的目标物体，并剔除对应的第一特征点集中目标物体的特征点，获得第二特征点集；

步骤S40，将所述第二特征点集中当前帧与前一帧的特征点进行特征匹配，结合非线性优化方法，获取全局最优相机位姿序列。