[发明专利]基于ResNeSt-APW的多模块闭环检测方法

说明书

本发明公开了一种基于ResNeSt‑APW的多模块闭环检测方法，包括在去除ResNeSt模型中的全局平均池化层及其之后的网络层，在此之后增加一个1×1大小的卷积层；之后添加APW对卷积后的特征图进行下采样计算，并采用ReLU激活函数对输出结果进行激活，所述APW对任意大小的特征图进行计算之后，都生成一个固定大小的特征图；采用LLE算法对输出特征进行降维，并将该特征展开为一个一维矩阵，进行相似度计算；在基于超级字典的基础上将超级字典与历史帧映射区域分为若干个小模块，在每个模块的首尾部分别选取一张图片；采用多线程的方式同时计算所选取的图片与当前图片的相似度。本发明在准确率‑召回率的性能上是具有优势的，同时，检索方式相比于超级字典等方法在耗时方面是有所提升的。

技术领域

本发明属于VSLAM领域，特别是一种基于ResNeSt-APW的多模块闭环检测方法。

背景技术

随着视觉同时定位与地图构建技术(Visual Simultaneous Localization andMapping，VSLAM)的不断发展，移动机器人、自动驾驶等领域取得了突破性的进展，使得我们的生活也变得更加便捷。

VSLAM是指机器人在未知环境中，实现环境感知，完善自身定位，以及路径规划。闭环检测是VSLAM中的重要模块之一，机器人通过采集到一张新的图像，判断它是否在历史帧序列中出现过，进而判断机器人是否进入某同一历史地点，或者在特征点匹配丢失后重新获取一个初始位置。基于深度学习的方法则是通过深度学习模型自主学习并提取图片深层次的特征，场景识别率的表现更好，但由于网络模型的不同，使得提取的图像特征的鲁棒性差异性较大，并且目前大多数卷积神经网络模型采取的是通过改变图像的大小，从而达到一个固定的输出维度，但这样往往会损失一些有用信息，影响闭环检测的精确度。同时，搜索检索图片的方法也影响着系统的实时性，超级字典检索方式极大的提高了图像检索的计算速率，但是在超级字典以及超级字典的映射区域仍然采用的是逐帧比较的方式，在目标区域检索相对耗时。

发明内容

为了解决上述问题，本发明提出了基于ResNeSt-APW的多模块闭环检测方法。在所设计的模型中，提出了一种自适应窗口方法(Adaptive Pooling Window,APW)，并与ResNeSt融合形成ResNeSt-APW模型，采用LLE进行降维，使得模型在不改变原始图像大小的情况下提取深层次的语义信息，并输出一个低维度的特征向量，并在基于超级字典的基础上设计了一种多模块随机检索的图像检索方法，通过对历史帧序列进行分段，产生多个历史帧模块，然后对每个模块的首尾同时进行检索图像，向历史帧序列模块中间进行逼近，使用多线程的方式进行计算，减少了计算时间，提升了闭环检测的实时性。

为了实现上述目的，本发明采用的技术方案是：基于ResNeSt-APW的多模块闭环检测方法，包括以下步骤：

S1，在ResNeSt模型的基础上，去除ResNeSt模型中的全局平均池化层及其之后的网络层，在此之后增加一个1×1大小的卷积层；主要作用是为了降低特征图的通道数。

S2，在所述1×1卷积层之后添加APW对卷积后的特征图进行下采样计算，并采用ReLU激活函数对输出结果进行激活，所述APW对任意大小的特征图进行计算之后，都生成一个固定大小的特征图，并不会将其展开成一个一维特征向量。

S3，采用LLE(Locally Linear Embedding,LLE)算法对所述S2处理后的输出特征进行降维，并将该特征展开为一个一维矩阵，进行相似度计算。

S4，在基于超级字典的基础上将超级字典与历史帧映射区域分为若干个小模块，在每个模块的首尾部分别选取一张图片。

S5，采用多线程的方式同时计算步骤S4所选取的图片与当前图片的相似度。

进一步，在上述方案中，每次选取的下一帧图片与前一帧图片的间隔是随机的。