[发明专利]基于语义分割技术的机器人SLAM方法

说明书

本发明公开了一种基于语义分割技术的机器人SLAM方法，包括：步骤1：获取机器人运动过程中拍摄的图像数据；步骤2：对图像数据进行语义分割处理，从而区分得到图像中的平面区域和非平面区域，检测非平面区域中的特征点；步骤3：构建所述特征点和平面区域的外观描述方式，从而建立特征点和平面区域在不同图像帧之间的匹配对应关系；步骤4：根据上述对应关系，构建一个似然函数；步骤5：最小化所述似然函数得到混合三维地图和相机运动参数。本发明利用语义分割技术对图像中平面区域和非平面区域进行区分，并检测非平面区域的特征点，当图像中难以提取特征点或特征点较少时，能够通过平面区域匹配提升定位和场景重建的稳定性。

技术领域

本发明涉及机器人导航技术领域，特别涉及一种基于语义分割技术的机器人SLAM方法。

背景技术

对于机器人视觉导航问题，主要研究从多幅图像帧(2幅及以上图像)中恢复场景的三维结构以及拍摄各图像帧的摄像机所对应的位置和姿态。在机器人导航领域中一般称为Simultaneous Localization and Mapping(即时定位与地图构建，SLAM)，一般情况下场景的三维结构用无序的点云方式表达。

早期的SLAM方法基于矩阵分解技术。这类方法首先将观测匹配得到的特征点图像坐标构成一个矩阵，通过SVD分解技术得到特征点的三维坐标以及摄像机的位姿参数。20世纪90年代末，计算机视觉研究人员从摄影测量学领域引入了光束法平差技术(BundleAdjustment)，该方法通过最小二乘优化三维场景点在各图像帧中的投影以及该点观测位置之间的欧氏距离实现同时场景点三维结构估计以及摄像机位姿参数计算。由于待优化的未知变量个数正比于三维场景点以及图像帧数，当图像序列规模较大时，光束法平差算法复杂度非常高，从而限制了该类方法在大规模环境下的应用。

现有的SLAM算法主要通过分析图像帧中的特征点实现，从而导致最终的输出结果是离散的三维点云，然而在诸如机器人抓握操纵物体和机器人自主导航(障碍物规避、路径规划等)等领域，需要知道场景的结构以及语义信息，仅仅提供三维点云是不够的，从而限制了SLAM的应用范围。此外基于特征点的方法一般需要图像中纹理相对丰富，对于光滑单调的场景，基于特征点的SLAM方法就无能为力了。

发明内容

本发明提供一种基于语义分割技术的机器人SLAM方法，以解决现有技术中存在的上述技术问题。

为解决上述技术问题，本发明提供一种基于语义分割技术的机器人SLAM方法，包括：

步骤1：获取机器人运动过程中拍摄的图像数据，该图像数据为单目摄像机拍摄的视频序列；

步骤2：对图像数据进行语义分割处理，从而区分得到图像中的平面区域和非平面区域，检测非平面区域中的特征点；

步骤3：构建所述特征点和平面区域的外观描述方式，从而建立特征点和平面区域在不同图像帧之间的匹配对应关系；

步骤4：根据上述对应关系，构建一个似然函数；

步骤5：最小化所述似然函数得到混合三维地图和相机运动参数。

作为优选，所述步骤2中：采用深度学习中的SegNet来实现对图像数据的语义分割，利用SIFT算法检测非平面区域中的特征点。

作为优选，所述步骤3中：采用SIFT特征描述算法作为特征点的外观描述矢量。

作为优选，利用K-d树算法匹配外观描述矢量得到不同图像中特征点之间的对应关系。

作为优选，所述步骤3中：采用颜色直方图和纹理特征作为平面区域的描述方式，其中，所述颜色直方图通过将图像中平面区域内所有像素转换到HSV色彩空间后构建H和S通道的二维直方图实现，纹理特征通过计算区域内像素的Laws纹理能量描述特征矢量表示；最后将颜色直方图构成的矢量和纹理特征矢量组合在一起构成平面区域的外观描述矢量。