[发明专利]用于多模态映射和定位的系统和方法

权利要求书

1.一种用于映射和定位的系统，包括用于准备多层地图的第一机器人设备和放置在环境内的预定位置中的多个标签，其中，所述第一机器人设备包括用于捕获所述环境的第一图像的第一视觉传感器和第一控制器，所述第一控制器包括第一处理器和存储第一计算机可执行代码的第一存储设备，并且所述第一计算机可执行代码在所述第一处理器处执行时被配置为：

使用由所述第一视觉传感器捕获的第一图像来构建所述环境的特征点云层；

构建包括所述多个标签的标识和所述多个标签的位置在内的标签层；以及

使用所述特征点云层和所述标签层来形成所述多层地图，其中，所述特征点云层和所述标签层共享相同的坐标系；

其中所述第一机器人设备还包括安装在所述第一机器人设备上的第一惯性测量单元IMU和第一轮编码器中的至少一个，并且其中所述第一计算机可执行代码在所述第一处理器处执行时被配置为通过以下方式更新所述多层地图：

通过所述第一视觉传感器捕获当前图像；

从所述当前图像中提取特征；

将从所述当前图像中提取的特征与所述第一机器人设备的紧邻前一关键帧中的特征相匹配，以获得匹配的特征；

基于所述匹配的特征来恢复所述第一机器人设备的当前姿势；

使用来自所述第一惯性测量单元IMU或所述第一轮编码器的度量来更新所述第一机器人设备的当前姿势，以获得所述第一机器人设备的更新的当前姿势；

从所述当前图像中检测所述标签；

基于所述第一机器人设备的更新的当前姿势和所述当前图像中的检测到的标签的位置来计算所述标签的姿势；以及

基于所述第一机器人设备的更新的当前姿势和所述标签的姿势来更新所述多层地图。

2.根据权利要求1所述的系统，其中所述第一机器人设备还包括第一光检测和测距LIDAR设备，执行的第一计算机可执行代码被配置为使用由所述第一光检测和测距LIDAR设备捕获的扫描来构建占用地图，并将所述占用地图结合到所述多层地图中作为占用地图层，使得所述占用地图层、所述特征点云层和所述标签层具有相同的坐标系。

3.根据权利要求1所述的系统，其中所述第一计算机可执行代码在所述第一处理器处执行时还被配置为：

通过将检测到的标签与所述多层地图的标签层中记录的标签相匹配来检测循环闭合；以及

使用检测到的循环闭合来进一步更新所述第一机器人设备的更新的当前姿势。

4.根据权利要求1所述的系统，还包括第二机器人设备，其中所述第二机器人设备包括用于捕获所述环境的第二图像的第二视觉传感器和第二控制器，所述第二视觉传感器的分辨率低于所述第一视觉传感器的分辨率，所述第二控制器包括第二处理器和存储第二计算机可执行代码的第二存储设备，并且所述第二计算机可执行代码在所述第二处理器处执行时被配置为：通过将从所述第二图像检测到的标签与所述多层地图中存储的标签的位置相匹配，来定位所述第二机器人设备。

5.根据权利要求4所述的系统，其中所述第二机器人设备还包括第二光检测和测距LIDAR设备，执行的第二计算机可执行代码被配置为：将在所述LIDAR设备的扫描中检测到的特征与占用地图层中存储的特征相匹配。

6.根据权利要求4所述的系统，其中所述第二机器人设备还包括安装在所述第二机器人设备上的第二惯性测量单元IMU和第二轮编码器中的至少一个，并且其中所述第二计算机可执行代码在所述第二处理器处执行时被配置为通过以下方式使用所述多层地图：

通过所述第二视觉传感器来捕获当前定位图像；

从所述当前定位图像中提取特征；

将从所述当前定位图像中提取的特征与所述第二机器人设备的紧邻前一关键帧中的特征相匹配，以获得匹配的特征；

基于所述匹配的特征来恢复所述第二机器人设备的第一当前姿势；

从所述当前定位图像中检测所述标签；

基于所述多层地图和检测到的标签来计算所述第二机器人设备的第二当前姿势；以及

使用所述第一当前姿势、所述第二当前姿势和来自第一惯性测量单元IMU或第一轮编码器的度量来更新所述第二机器人设备的姿势，以获得所述第二机器人设备的更新的当前姿势。