[发明专利]一种基于物体和平面特征的语义SLAM方法和系统

权利要求书

1.一种基于物体和平面特征的语义SLAM方法，其特征在于，包括如下步骤：

(1)获取场景的RGB-D图像流，利用RGB-D图像流进行逐帧跟踪得到关键帧图像；

(2)利用关键帧图像构建关于场景的局部地图，对关键帧图像的深度图进行平面分割得到当前平面，利用当前平面构建全局平面地图，对关键帧图像进行物体检测，得到检测框和置信度，利用检测框和置信度重建物体的点云，将检测框中的特征点归并到物体，得到全局物体地图；

(3)利用关键帧图像进行回环检测，得到回环帧，利用回环帧进行回环修正优化平面约束与物体约束，得到场景的平面地图和物体地图。

2.如权利要求1所述的一种基于物体和平面特征的语义SLAM方法，其特征在于，所述步骤(1)包括如下步骤：

(11)获取场景的RGB-D图像流，对于RGB-D图像流中的每一帧图像提取特征点，将当前帧图像中的特征点与前一帧图像中的特征点进行匹配，得到多组匹配点，利用多组匹配点计算当前的相机位姿；

(12)构建一个关于当前帧图像的局部地图，包括与当前帧图像有共视点的关键帧图像以及关键帧图像的相邻帧图像，在关键帧图像以及关键帧图像的相邻帧图像中查找与当前帧图像匹配的特征点，利用该特征点优化当前的相机位姿；

(13)优化位姿后，若当前帧图像为关键帧图像，将关键帧图像传入步骤(2)，否则，进入步骤(11)利用下一帧图像进行跟踪。

3.如权利要求2所述的一种基于物体和平面特征的语义SLAM方法，其特征在于，所述步骤(11)还包括：

若当前帧图像是第一帧图像，进行相机初始化；

若匹配点组数大于等于3，则利用多组匹配点计算当前的相机位姿，否则，跟踪丢失，进行全局重定位；

所述全局重定位为：将RGB-D图像流中每一帧图像转换成词汇树，得到全局词汇数据库，在全局词汇数据库中查找关键帧图像，计算当前帧图像相对于该关键帧图像的位姿，并根据该位姿对当前帧图像和对应关键帧图像进行特征点匹配，当特征点匹配数大于等于3时继续进行相机跟踪，否则保持跟踪丢失状态。

4.如权利要求1-3任一所述的一种基于物体和平面特征的语义SLAM方法，其特征在于，所述构建关于场景的局部地图的具体实现方式为：

构建一个共视图，共视图的顶点为关键帧图像，边为关键帧图像之间的共视点数量，每当新传入一个关键帧图像时，按照共视点数量更新共视图；

通过三角化共视图中相连的关键帧图像的特征点得到三角化后的特征点；

利用所有的关键帧图像和三角化后的特征点，构建关于场景的局部地图。

5.如权利要求1-3任一所述的一种基于物体和平面特征的语义SLAM方法，其特征在于，所述构建全局平面地图的具体实现方式为：

对关键帧图像的深度图进行平面分割得到当前平面；

将当前平面与全局平面地图中的平面进行对比，若两个平面之间夹角小于8°且距离小于0.1m，则归并两个平面，否则，在全局平面地图中创建一个平面。

6.如权利要求1-3任一所述的一种基于物体和平面特征的语义SLAM方法，其特征在于，所述全局物体地图的具体构建方式为：

对关键帧图像进行物体检测，得到检测框和置信度，利用检测框和置信度重建物体的点云，将检测框中的特征点归并到物体，得到全局物体地图；

在全局物体地图中查找与当前物体质心最近的N个物体，在N个物体中查找具有最多匹配特征点的物体；

如果两个物体特征点匹配数大于M，说明两个物体是同一个物体，否则是两个物体；

两个物体是同一物体时，计算当前物体点云相对于全局物体地图中匹配物体点云的位姿，将该位姿和当前物体点云加入全局物体地图，将当前物体特征点加入全局物体地图，将当前物体类型和置信度加入全局物体地图；

两个物体不是同一个物体时，新建一个物体，其位姿为单位矩阵，加入新建物体的特征点到全局物体地图，将检测到的新建物体类型和置信度加入全局物体地图。