[发明专利]基于语义分割技术的机器人SLAM方法

权利要求书

1.一种基于语义分割技术的机器人SLAM方法，其特征在于，包括：

步骤1：获取机器人运动过程中拍摄的图像数据，该图像数据为单目摄像机拍摄的视频序列；

步骤2：对图像数据进行语义分割处理，从而区分得到图像中的平面区域和非平面区域，检测非平面区域中的特征点；

步骤3：构建所述特征点和平面区域的外观描述方式，从而建立特征点和平面区域在不同图像帧之间的匹配对应关系；

在所述步骤3中：采用颜色直方图和纹理特征作为平面区域的外观描述方式，其中，所述颜色直方图通过将图像中平面区域内所有像素转换到HSV色彩空间后构建H和S通道的二维直方图实现，纹理特征通过计算区域内像素的Laws纹理能量描述特征矢量表示；最后将颜色直方图构成的矢量和纹理特征矢量组合在一起构成平面区域的外观描述矢量；

步骤4：根据上述对应关系，构建一个似然函数；

步骤5：最小化所述似然函数得到混合三维地图和相机运动参数。

2.如权利要求1所述的基于语义分割技术的机器人SLAM方法，其特征在于，所述步骤2中：采用深度学习中的SegNet来实现对图像数据的语义分割，利用SIFT算法检测非平面区域中的特征点。

3.如权利要求1所述的基于语义分割技术的机器人SLAM方法，其特征在于，所述步骤3中：采用SIFT特征描述算法作为特征点的外观描述矢量。

4.如权利要求3所述的基于语义分割技术的机器人SLAM方法，其特征在于，利用K-d树算法匹配所述外观描述矢量得到不同图像中特征点之间的对应关系。

5.如权利要求4所述的基于语义分割技术的机器人SLAM方法，其特征在于，通过对语义分割结果进行特征计算和边缘统计得到平面区域的外观描述方式，通过特征矢量最近邻匹配结合极线约束来获得平面区域在不同图像帧之间的匹配对应关系。

6.如权利要求1所述的基于语义分割技术的机器人SLAM方法，其特征在于，所述步骤4包括：通过因子图表达步骤3中的对应关系，根据所述因子图构建相应的似然函数。

7.如权利要求6所述的基于语义分割技术的机器人SLAM方法，其特征在于，所述步骤5包括：对所述似然函数取负对数得到代价函数，对所述代价函数进行模拟退火结合梯度下降策略实现最小化，进而获得相机位置姿态参数、三维空间点以及平面参数信息。

8.如权利要求6所述的基于语义分割技术的机器人SLAM方法，其特征在于，所述因子图还同时表达：三维空间中的特征点和平面区域之间的相互作用关系与在二维的图像中的相互作用关系一致。

9.如权利要求1所述的基于语义分割技术的机器人SLAM方法，其特征在于，所述步骤5中：混合三维地图通过三维空间的点以及平面来表示，其中，三维空间的平面包含语义信息。