[发明专利]一种全周期采用CNNs特征检测的视觉SLAM算法

说明书

本发明公开一种全周期采用CNNs特征检测的视觉SLAM算法，首先在前端，用无监督模型对原始图像数据进行预训练，接着利用预训练的数据通过CNN网络架构把运动和深度的联合表示和局部速度和方向改变关联起来，执行视觉里程计；最后执行路径预测。本发明还使用OverFeat神经网络模型进行回环检测环节，用于消除前端带来的累积误差，构建一个基于深度学习的视觉slam架构。同时构建时间和空间连续性滤波器，对匹配结果进行验证，提高匹配准确率，消除误匹配。本发明在提高视觉里程计精度和闭环检测正确率方面有着巨大的优势和潜力。

技术领域

本发明属于计算机视觉中的同时定位与地图构建(slam)算法的技术领域，具体涉及一种全周期采用CNNs特征检测的视觉SLAM算法。

背景技术

SLAM(Simultaneous Localization and Mapping)中文名称为“同时定位与地图构建”。SLAM是一个令人着迷的研究领域，在机器人，导航和其他许多应用中有着广泛的应用。视觉SLAM基本上涉及根据视觉传感器信息来估计相机运动并试图构建周围环境的地图，例如来自一个或多个相机的序列帧。当前SLAM问题的研究手段主要是通过在机器人本体上安装多类型传感器来估计机器人本体运动信息和未知环境的特征信息，利用信息融合实现对机器人位姿的精确估计以及场景的空间建模。尽管SLAM采用的传感器有激光和视觉等多种类型，但其处理过程一般包含3个部分：前端视觉里程计，后端优化以及闭环检测。

典型视觉SLAM算法以估计摄像机位姿为主要目标，通过多视几何理论来重构3D地图。为提高数据处理速度，部分视觉SLAM算法首先提取稀疏的图像特征，通过特征点之间的匹配实现视觉里程计和闭环检测，如基于SIFT(scale invariant feature transform)特征的视觉SLAM[13]和基于ORB(oriented FAST and rotated BRIEF)特征的视觉SLAM。SIFT和ORB特征凭借其较好的鲁棒性和较优的区分能力以及快速的处理速度，在视觉SLAM领域受到广泛应用。人工设计的稀疏图像特征当前有很多局限性，一方面如何设计稀疏图像特征最优地表示图像信息依然是计算机视觉领域未解决的重要问题，另一方面稀疏图像特征在应对光照变化、动态目标运动、摄像机参数改变以及缺少纹理或纹理单一的环境等方面依然有较多挑战。传统的视觉里程计(Visual Odometry,VO)基本上涉及根据视觉信息来估计运动，例如来自一个或多个相机的序列帧。这些工作中的大多数属性的一个共同特点是它们依靠关键点检测和跟踪以及相机几何结构来估计视觉测距。

近年来，基于学习的方法已经在计算机视觉的许多领域显示出令人期待的结果，能够克服传统的视觉slam算法中存在的缺陷(稀疏图像特征在应对光照变化、动态目标运动、摄像机参数改变以及缺少纹理或纹理单一的环境等方面有较多的困难)。像卷积神经网络(CNNs)这样的模型被证明在各种视觉任务中非常有效，如分类和定位，深度估计等等。无监督特征学习模型展示了通过乘法交互学习数据中局部变换表示的能力。研究表明经过无监督模型预训练之后的数据，再应用到CNNs网络中，可以较好的过滤噪声和防止“过拟合”。

视觉里程计(VO)负责估计轨迹和地图的初值。VO原理是只考虑了相邻帧图片的联系。误差不可避免的将会随着时间积累，使得整个系统出现累计误差，长期估计的结果将不可靠，或者说，我们无法构建全局一致的轨迹和地图。回环检测模块能够给出相邻帧之外一些时隔更加久远的约束。回环检测的关键，就是如何有效的检测出相机经过同一个地方这件事，关系到我们估计的估计和地图在长时间下的正确性。因此，回环检测对整个SLAM系统的精度和稳健性的提升是非常明显的。