[发明专利]一种修复语义信息的高效移动机器人SLAM系统

权利要求书

1.一种修复语义信息的高效移动机器人SLAM系统，其特征在于：包括机器人视觉感知装置、语义分割模块、优化模块以及建图模块；

其中，将机器人视觉感知装置采集的RGB彩色图像进行ORB特征提取，并对深度图像进行降噪，然后采集用于检测机器人移动数据的编码器的数据得到机器人位姿数据，再通过时间戳将上述三个数据进行数据融合，每一组数据称之为一帧；根据机器人转角或走过的路程从上述帧中筛选出关键帧传到语义分割模块；该语义分割模块对关键帧进行修复，并把修复结果传到优化模块；该优化模块根据语义标签对关键桢中的动态物体进行剔除，剔除后根据不同关键帧观测到相同的特征点，形成约束关系，进行局部BA优化，优化机器人位姿；并将优化结果送到建图模块简历局部地图，局部地图在建图模块融合成语义八叉树地图；

数据融合的步骤是：

首先需要定义不同的坐标系来表述机器人移动位姿变换，其中，{w}为世界坐标系，{r}为机器人坐标系，{c}为相机坐标系。则机器人在世界坐标系下的位姿可表示为其中[x，y]^T∈R²为机器人在世界坐标系下的位置，θ为机器人的偏航角，基于此机器人位姿表示方法，机器人坐标到世界坐标的变换矩阵可表示为：

初始化的机器人位姿为：其中，k表示第k个关键帧，其中，为由编码器观测的位姿变化的期望，为编码器观测的位姿变化协方差矩阵；

根据相机投影模型，一个局部地图点^wp投影到当前帧，是将一个3D点投影到2D平面点的过程，其投影在图像中的位置：

其中，π(·)为相机针孔模型，为相机坐标到机器人坐标的转换；

假设局部地图点服从高斯分布，即为局部地图点^wp的期望，∑^p为局部地图点的协方差矩阵，同理，其投影也服从高斯分布，即则u的协方差矩阵为：其中，G^e为服从编码器观测变化的雅克比矩阵，G^p为服从局部地图点位置变化^wp的雅克比矩阵；

再利用深度值将2D点转换到3D点，设2D点坐标u′，深度值为z′，则有：

将当前帧位姿的最优值求解转化为最小化编码器误差和重投影误差：

其中，E_enc表示编码器最小二乘误差，E_i，proj表示重投影最小二乘误差，e^e为编码器误差，为第i个特征点的重投影误差，分别由以下两组公式计算：

其中，ρ(·)为Huber鲁棒性损失函数，F(·)是将4x4的矩阵转化为3x1向量的算子；是与ORB特征大小有关的特征协方差矩阵。

2.根据权利要求1所述的一种修复语义信息的高效移动机器人SLAM系统，其特征在于：优化模块还设置有回环检测，检测机器人路径，当机器人路径出现重复时，则在建图模块优化语义八叉树地图。

3.根据权利要求1所述的一种修复语义信息的高效移动机器人SLAM系统，其特征在于：所述的语义分割模块对关键桢的修复过程是：语义分割模块首先对关键帧中的RGB图像数据进行语义分割，得到每一个像素的语义标签信息，并利用关键桢中的深度图像数据的深度信息利用四近邻算法对该语义标签进行修复，得到修复后的关键桢。

4.根据权利要求1所述的一种修复语义信息的高效移动机器人SLAM系统，其特征在于：RGB彩色图像进行ORB特征提取的过程是：利用FAST角点提取算法找到图像中的角点，作为关键点，分别以每一个关键点为中心，在半径为15的圆内根据高斯概率分布选取128对点对建立关键点对应的描述子，每一组关键点和描述子构成了一个ORB特征，至此完成了ORB特征提取。

5.根据权利要求1所述的一种修复语义信息的高效移动机器人SLAM系统，其特征在于：关键帧的获取方法：设定最长时间间隔1S，机器人移动0.1m或机器人旋转0.5rad，满足条件的当前帧即为关键帧。