[发明专利]基于联合约束的语义SLAM系统及方法

摘要

本发明提出了一种基于联合约束的语义SLAM系统与方法，旨在解决解决在像素深度值不稳定情况下相机位姿计算不准确和当动态目标占据相机视野大部分空间时无法计算相机位姿的问题，通过深度约束方法提高了相机位姿估计的准确性，采用极线约束方法提高了相机轨迹的完整性。实现方法为：数据采集模块获取图像序列；神经网络模块获取检测图像和实例分割图像；联合约束模块获取不同的特征点类别集合；数据融合模块获取静态目标实例分割图像和动态目标实例分割图像；视觉前端模块获取深度相机的位姿和三维空间中的路标点集合；后端优化模块获取全局最优的深度相机位姿和路标点；语义地图模块获取语义点云地图。

主权项

1.一种基于联合约束的语义SLAM系统，其特征在于，包括数据采集模块、神经网络模块、联合约束模块、数据融合模块、视觉前端模块、后端优化模块和语义地图模块，其中：/n数据采集模块，采用深度相机，用于采集室内环境的多帧深度图像和彩色图像，以获取深度图像序列和彩色图像序列；/n神经网络模块，用于通过训练好BlitzNet网络模型，对彩色图像序列逐帧进行前向传播处理，以获取带有潜在动态目标框的检测图像和带有潜在动态目标实例的实例分割图像；/n联合约束模块，用于对每一帧彩色图像与前一帧彩色图像进行特征匹配，并对匹配获取的每一特征匹配对的深度值构建深度约束，对潜在动态目标框区域内的特征点对构建极线约束，从而对该彩色图像所有特征点进行归类，以获取特征点各类别集合；/n数据融合模块，用于对实例分割图像与特征点集合数据进行融合，以获取静态目标实例分割图像和动态目标实例分割图像；/n视觉前端模块，用于通过稳定特征点计算深度相机位姿；/n后端优化模块，用于通过深度相机位姿和特征点对应的三维空间路标点构建代价函数，对代价函数进行非线性优化，以获取全局最优相机位姿和路标点；/n语义地图模块，用于根据深度相机的最优位姿建立点云地图，并将静态目标实例分割图像中带有语义的像素点映射到点云地图上，以获取语义点云地图。/n