[发明专利]基于联合约束的语义SLAM系统及方法

权利要求书

1.一种基于联合约束的语义SLAM系统，其特征在于，包括数据采集模块、神经网络模块、联合约束模块、数据融合模块、视觉前端模块、后端优化模块和语义地图模块，其中：

数据采集模块，采用深度相机，用于采集室内环境的多帧深度图像和彩色图像，以获取深度图像序列和彩色图像序列；

神经网络模块，用于通过训练好BlitzNet网络模型，对彩色图像序列逐帧进行前向传播处理，以获取带有潜在动态目标框的检测图像和带有潜在动态目标实例的实例分割图像；

联合约束模块，用于对每一帧彩色图像与前一帧彩色图像进行特征匹配，并对匹配获取的每一特征匹配对的深度值构建深度约束，对潜在动态目标框区域内的特征点对构建极线约束，从而对该彩色图像所有特征点进行归类，以获取特征点各类别集合；

数据融合模块，用于对实例分割图像与特征点集合数据进行融合，以获取静态目标实例分割图像和动态目标实例分割图像；

视觉前端模块，用于通过稳定特征点计算深度相机位姿；

后端优化模块，用于通过深度相机位姿和特征点对应的三维空间路标点构建代价函数，对代价函数进行非线性优化，以获取全局最优相机位姿和路标点；

语义地图模块，用于根据深度相机的最优位姿建立点云地图，并将静态目标实例分割图像中带有语义的像素点映射到点云地图上，以获取语义点云地图。

2.一种基于联合约束的语义SLAM的实现方法，其特征在于，包括如下步骤：

(1)数据采集模块获取图像序列：

数据采集模块对室内环境进行N次持续拍摄，得到N帧彩色图像和N帧深度图像，并按照拍摄时间由前到后顺序分别对N帧彩色图像和N帧深度图像进行排序，得到彩色图像序列C₁,C₂,...,C_i,...,C_N和深度图像序列D₁,D₂,...,D_i,...,D_N，i＝1,2,...,N，N≥100；

(2)神经网络模块获取检测图像和实例分割图像：

神经网络模块采用通过COCO数据集训练的模型参数的BlitzNet网络模型，对彩色图像序列中的N帧彩色图像逐帧进行前向传播处理，得到带有潜在动态目标框的检测图像CD₁,CD₂,...,CD_i,...,CD_N，以及带有潜在动态目标实例的实例分割图像CS₁,CS₂,...,CS_i,...,CS_N；

(3)联合约束模块获取不同的特征点类别集合DSP₂、EP₂、SP₂、DP₂和S：

(3a)联合约束模块对C₁和C₂分别进行ORB特征提取得到特征集合P₁和P₂，并对P₁和P₂进行匹配，得到多个特征匹配对，然后采用深度约束方法，将P₂中所有满足深度约束的特征点归为深度稳定特征点集合DSP₂；

(3b)联合约束模块将DSP₂中位于目标检测图像CD₂的动态目标框内的特征点归为潜在动态特征点集合PP₂，将DSP₂中位于CD₂的潜在动态目标框外的特征点归为环境特征点集合EP₂；

(3c)联合约束模块通过EP₂计算基础矩阵F，然后采用极线约束方法，将PP₂中满足极线约束的特征点归为静态特征点集合SP₂，其余的特征点归为动态特征点集合DP₂，并将EP₂和SP₂合并为稳定特征点集合S₂；

(4)数据融合模块获取静态目标实例分割图像CSS₂和动态目标实例分割图像CDS₂：

数据融合模块计算C₂的动态特征点比率和潜在动态特征点比率，并将实例分割图像CS₂中动态特征点比率和潜在动态特征点比率均小于预设的比率阈值的实例归为静态目标实例，其余的实例归为动态目标实例，得到静态目标实例分割图像CSS₂和动态目标实例分割图像CDS₂；

(5)视觉前端模块获取深度相机的位姿ξ₂和三维空间中的路标点集合L₂：

(5a)视觉前端模块采用迭代最近点ICP方法，并通过C₂的可用特征点S₂，以及S₂在C₁中对应的匹配点，计算C₂深度相机的位姿ξ₂；

(5b)视觉前端模块通过相机内参和ξ₂，将S₂的像素坐标转化三维空间坐标，得到三维空间中的路标点集合L₂；

(5c)视觉前端模块按照获取ξ₂和L₂的方法获取C₃,C₄,...,C_i,...,C_N的深度相机位姿ξ₃,ξ₄,...,ξ_i,...,ξ_N和路标点集合L₃,L₄,...,L_i,...,L_N；

(6)后端优化模块获取全局最优的深度相机位姿和路标点：

后端优化模块将L₂,L₃,...,L_i,...,L_N合并为路标点集合L，其中包括路标点p₁,p₂,...,p_j,...,p_M，构建以深度相机位姿ξ₂,ξ₃,...,ξ_i,...,ξ_N和路标点p₁,p₂,...,p_j,...,p_M为变量的代价函数Loss，并利用列文伯格-马夸尔特方法对代价函数Loss进行非线性优化，得到全局最优深度相机位姿ξ₂',ξ₃',...,ξ_i',...,ξ_N'和三维空间中的路标点p₁',p₂',...,p_j',...,p_M'；

(7)语义地图模块获取语义点云地图：

(7a)语义地图模块对彩色图像序列C₂,C₃,...,C_i,...,C_N进行逐帧处理，将第i帧彩色图像C_i中深度值不为0的像素点归为像素点集合YP_i，并利用数据融合模块获取的CDS_i中的动态目标实例信息将YP_i中不属于动态目标实例的像素点归为像素点集合CP_i；

(7b)语义地图模块通过相机内参和ξ_i，计算CP_i在三维空间中的三维坐标位置，利用点云库PCL生成三维空间点，并将生成的所有三维空间点合并成点云PL_i；

(7c)语义地图模块利用数据融合模块中的静态目标实例分割图像CSS_i获取的语义信息，对CSS_i中静态目标实例的像素点对应的点云进行语义标注，得到语义点云PL_i'；

(7d)语义地图模块对语义点云PL₂',PL₃',...,PL_i',...,PL_N'进行拼接，得到全局语义点云地图PL。