[发明专利]一种基于物体和平面特征的语义SLAM方法和系统

说明书

本发明公开了一种基于物体和平面特征的语义SLAM方法和系统，属于计算机视觉技术领域，其中方法包括：获取场景的RGB‑D图像流，利用RGB‑D图像流进行逐帧跟踪得到关键帧图像；利用关键帧图像构建关于场景的局部地图，对关键帧图像的深度图进行平面分割得到当前平面，利用当前平面构建全局平面地图，对关键帧图像进行物体检测，得到检测框和置信度，利用检测框和置信度重建物体的点云，将检测框中的特征点归并到物体，得到全局物体地图；利用关键帧图像进行回环检测，得到回环帧，利用回环帧进行回环修正优化平面约束与物体约束，得到场景的平面地图和物体地图。本发明可以提升SLAM优化性能，并增强对环境的语义描述。

技术领域

本发明属于计算机视觉技术领域，更具体地，涉及一种基于物体和平面特征的语义SLAM方法和系统。

背景技术

同步定位与地图构建技术(simultaneous localization and mapping，SLAM)是近几年比较热门的研究领域，该技术针对机器人在未知环境中的定位和建图问题提出。经过一段时间的发展，目前视觉SLAM技术的主要框架已经成熟，主要包括视觉里程计、后端优化、回环检测等部分。

传统的SLAM技术构建的地图多由低层级的几何元素(点、线、平面等)组成，在对环境有一定描述能力的同时，缺少高层级的语义信息。当机器人在运动中需要与环境中的物体进行交互时，就需要我们对环境的语义信息进行描述。语义SLAM能够在构建环境几何地图的同时或者结束时构建环境的语义地图。

近年来，基于深度学习的物体检测算法(主要是卷积神经网络，CNN)已经在各种计算机视觉任务，包括目标检测方面取得重大突破。这是因为深度学习学习海量数据的能力和提取高抽象特征的能力，这使得深度学习特征具有很好的识别能力。将深度学习用于物体检测能够获得超越传统方法的精度和速度。

然而，现有技术存在语义信息缺乏、SLAM优化能力较差的技术问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于物体和平面特征的语义SLAM方法和系统，由此解决语义信息缺乏、SLAM优化能力较差的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于物体和平面特征的语义SLAM方法，包括如下步骤：

(1)获取场景的RGB-D图像流，利用RGB-D图像流进行逐帧跟踪得到关键帧图像；

(2)利用关键帧图像构建关于场景的局部地图，对关键帧图像的深度图进行平面分割得到当前平面，利用当前平面构建全局平面地图，对关键帧图像进行物体检测，得到检测框和置信度，利用检测框和置信度重建物体的点云，将检测框中的特征点归并到物体，得到全局物体地图；

(3)利用关键帧图像进行回环检测，得到回环帧，利用回环帧进行回环修正优化平面约束与物体约束，得到场景的平面地图和物体地图。

进一步地，步骤(1)包括如下步骤：

(11)获取场景的RGB-D图像流，对于RGB-D图像流中的每一帧图像提取特征点，将当前帧图像中的特征点与前一帧图像中的特征点进行匹配，得到多组匹配点，利用多组匹配点计算当前的相机位姿；

(12)构建一个关于当前帧图像的局部地图，包括与当前帧图像有共视点的关键帧图像以及关键帧图像的相邻帧图像，在关键帧图像以及关键帧图像的相邻帧图像中查找与当前帧图像匹配的特征点，利用该特征点优化当前的相机位姿；

(13)优化位姿后，若当前帧图像为关键帧图像，将关键帧图像传入步骤(2)，否则，进入步骤(11)利用下一帧图像进行跟踪。

进一步地，步骤(11)还包括：

若当前帧图像是第一帧图像，进行相机初始化；