[发明专利]动态场景下基于语义分割与图像修复的视觉回环检测方法

说明书

一种动态场景下基于语义分割与图像修复的视觉回环检测方法，包括以下步骤：1)在历史图像库中预训练的ORB特征离线词典；2)获取当前RGB图像作为当前帧，利用DANet语义分割网络分割出图像属于动态场景区域；3)利用图像修复网络对已经进行掩膜覆盖的图像进行图像修复；4)将所有历史数据库图像作为关键帧，用当前帧图像与所有关键帧图像逐一进行回环检测判断；5)根据两帧图像词袋向量的相似度和对极几何判断是否构成回环；6)进行判定。本发明可用于在动态作业环境下视觉SLAM中的回环检测，用于解决由于场景中存在作业人员、车辆、巡检机器人等动态目标而导致特征匹配错误以及由于对动态区域分割导致特征点过少而无法正确检测回环的情况。

技术领域

本发明属于视觉SLAM领域，特别是涉及动态场景下基于语义分割与图像修复的视觉回环检测方法。

背景技术

视觉SLAM(Simultaneous Localization And Mapping)是一种机器人在未知环境中，使用视觉传感器感知周围环境，并在移动过程中，估计出传感器的位姿，同时实现根据地图进行自身定位和根据定位情况建立增量式地图。回环检测是视觉SLAM系统中一个重要模块。回环检测即机器人能识别出曾经经过的场景，使得地图构成回环。在进行视觉SLAM时，视觉里程计在估计位姿时会出现累计漂移问题。因此回环检测的意义在于，机器人可以通过判断是否构成闭环，使用全局优化模块来修正估计的位姿以及建立的地图。

将视觉SLAM技术用于巡检机器人动态作业环境中的一个主要挑战，就是由于环境改变而造成回环检测的准确率下降。实际巡检机器人作业环境中存在作业人员、其它巡检机器人等动态干扰。回环检测通常采用词袋模型，但是在动态作业环境下，含这些动态干扰的图像区域内的特征点与历史图像已发生了变化。若不考虑图像中的动态区域而在仍然在整幅图像中进行特征提取，会影响图像映射到词袋模型的词袋向量，从而影响回环检测的准确率。

针对动态区域特征点干扰的问题，Berta,Bescos等人在DynaSLAM方法中，使用Mask-RCNN方法分割潜在动态环境区域，然后利用ORB特征建立词袋模型进行回环检测(见“Berta B,Facil J M,Javier C,et al.DynaSLAM:Tracking,Mapping and Inpainting inDynamic Scenes[J].IEEE RoboticsAutomation Letters,2018:1-1.”)。但是，单纯通过语义分割去除动态场景特征点的方法，会导致特征点总体数目和种类过少，从而得到的词袋向量有效位数降低而更易受干扰影响，在进行相似度比较时使用阈值判断准确率减少，此外，因为特征点数目的减少影响后续对极几何验证的准确率，从而影响回环检测的准确率。

针对图像分割后去除较多特征点的问题，DynaSLAM的处理方法是在上述行语义分割之后进行图像修复，利用修复图像进行跟踪和回环检测，从而弥补特征点减少的缺点。具体地，该方法通过融合附近20张关键帧图像在待修复区域内的像素值来修复该区域内的像素。但是，待修复区域像素光照强度可能与周围区域不同、有些待修复区域没有出现在其他图像中，这些问题导致采用简单的多帧融合方法将无法高质量地进行图像区域修复。而如果在修复效果较差的区域内提取特征点，将出现与真实背景完全不同的伪特征点，进而影响基于词袋模型的回环检测方法准确率。

此外，Juan Pablo Munoz，Scott Dexter提出了利用目标检测的方法，先检测出动态物体，然后用局部描述符减去设定的检测到的物体属性，来得到新的局部描述子，将新的局部描述符加入到词袋模型进行回环检测(见“Improving Place Recognition UsingDynamic Object Detection”)。但是，这样修改的局部描述子不能完全反应真实静态场景的局部描述子。