[发明专利]一种多机协同构建三维点云地图的方法、装置和存储介质

说明书

本申请公开了一种多机协同构建三维点云地图的方法、装置和存储介质，具体为获取多个客户端采集的深度图像帧和RGB图像帧，并生成待检测关键帧，将位姿优化后的待检测关键帧确定为待融合关键帧，基于待融合关键帧和与待融合关键帧对应的位姿关系及与待融合关键帧关联的地图点数据进行三维点云地图融合，获取优化后的客户端在采集深度图像帧和RGB图像帧时的位姿信息进行点云数据的转换，生成待展示场景的三维点云地图。本申请实施例通过服务端与多个客户端之间进行通信，并在多个客户端协同SLAM结束后，服务端输出每个客户端的七自由度相机位姿，并优化所有客户端的高精度相机位姿进行场景稠密重建，使重建结果可以得到进一步应用，且提升了建图精度。

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种多机协同构建三维点云地图的方法、装置和存储介质。

背景技术

即时定位与建图(Simultaneous Localization and Mapping,SLAM)是机器人的重要功能之一，随着RGB-D相机的硬件成本的逐渐下降和普及程度的提高，基于RGB-D相机的SLAM技术也逐渐成熟。视觉SLAM是运动重建(Structure from motion，SFM)的一种实时版本，现有的大部分协同SLAM系统只能进行半稠密建图，无法将三维点云地图进一步应用于机器人导航、AR等功能，因此将视觉SLAM和SFM起来，利用视觉SLAM输出的高精度位姿，进行场景重建，可以进一步得到稠密三维点云地图，从而使三维点云地图得到进一步应用。在很多应用场景中，一个视觉SLAM平台很难满足收集场景数据和建图的需求，因此多机器人协同SLAM的研究受到越来越多的关注。目前的多机器人协同视觉SLAM系统大多为集中式架构，客户端部署在移动机器人、无人机等设备上，计算能力有限，因此仅进行图像特征提取和初步位姿求解等过程，服务端部署在计算能力更强的计算设备中，负责执行位姿优化、建图等对计算能力要求更高的功能。

发明内容

本申请实施例提供了一种多机协同构建三维点云地图的方法，克服了多机协同构建三维点云地图的应用场景限制和构图精度较低的问题。

该方法包括：

获取至少一个客户端采集的深度图像帧和RGB图像帧，并基于所述深度图像帧和RGB图像帧生成待检测关键帧；

对所述待检测关键帧进行位姿优化，并将位姿优化后的所述待检测关键帧确定为待融合关键帧，以及，基于所述待融合关键帧和与所述待融合关键帧对应的位姿关系及与所述待融合关键帧关联的地图点数据进行三维点云地图融合，生成融合三维点云地图；

基于所述融合三维点云地图对所述待检测关键帧进行全局位姿优化，并获取优化后的所述客户端在采集所述深度图像帧和所述RGB图像帧时的位姿信息，所述位姿信息包括四元数位姿参数、三维坐标和采集时间戳；

根据所述位姿信息将所述客户端采集的所述深度图像帧和所述RGB图像帧转换为点云数据，并基于所述采集时间戳将所述点云数据进行拼接，生成待展示场景的三维点云地图。

可选地，在所述待检测关键帧组成的待检测关键帧库中为当前的所述待检测关键帧选取具有重叠关系的所述待检测关键帧作为候选关键帧；

将所述候选关键帧与当前的所述待检测关键帧进行投影匹配，并将投影匹配后满足匹配阈值的所述候选关键帧作为当前的所述待检测关键帧的所述待融合关键帧。

可选地，计算当前的所述待检测关键帧和对应的至少一个共视关键帧的相似度，并选择数值最小的所述相似度作为预设阈值；

基于所述预设阈值，在所述待检测关键帧库中筛选出与当前的所述待检测关键帧的相似度高于预设阈值的所述待检测关键帧作为所述候选关键帧。

可选地，在确定所述待检测关键帧的相似度高于所述预设阈值后，所述方法进一步包括：