[发明专利]单目视觉里程计定位方法及系统

说明书

本发明涉及一种单目视觉里程计定位方法及系统，所述单目视觉里程计定位方法包括：获取训练数据集，所述训练数据集包括多个视频序列，各视频序列包括多帧连续图像；根据各视频序列，建立单目视觉里程计定位模型；具体包括：对各相邻帧图像进行堆叠处理后，得到对应的堆叠图像；通过FlowNet编码器，从各堆叠图像中提取高维特征；通过LCGR模块，从所述高维特征中依次提取局部信息和全局信息；根据所述局部信息和全局信息，通过全连接回归处理，得到相对位姿；基于所述单目视觉里程计定位模型，根据待测视频序列，可准确确定相对位姿，提高定位精度。

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种SLAM(Simultaneouslocalization and mapping，同步定位与建图)的基于局部全局信息融合和动态物体感知的单目视觉里程计定位方法及系统。

背景技术

视觉里程计是移动机器人、自主导航以及增强现实中的重要环节。视觉里程计按照使用的相机数量可以分为单目视觉里程计(Monocular VO)和双目视觉里程计(StereoVO)。单目VO通常比双目VO更具挑战性，但是因其只需要一架相机，更加轻巧、便宜而得到广泛的研究。经典的视觉里程计算法包括相机矫正、特征检测、特征匹配、外点剔除、运动估计、尺度估计以及后端优化。此类算法在大部分情况下都能取得较好的效果，但是面对遮挡、光照变化大、无纹理等场景仍然会存在失败的情况。

近年来，深度学习技术已成功运用在人脸识别、目标跟踪、语音识别、机器翻译等方面。以卷积神经网络为代表的深度学习方法在计算机视觉领域发挥了非常重要的作用，这些深度网络在提取图片特征，找出潜在规律等方面比传统方法效果显著，所以很多学者考虑将深度学习应用到位姿估计等领域，直接让深度网络学习图片之间的几何关系，实现端到端的位姿估计。这种端到端的方式完全摒弃了传统方法中的特征提取、特征匹配、相机标定、图优化等步骤，根据输入图片直接得到相机姿态。尽管卷积网络能够应对一些极端情况，但是整体精度还是低于传统方法，此外网络的泛化能力也是影响深度网络实际应用的重要原因。此外，大多数深度学习方法并没有考虑场景中动态物体的影响，导致定位精度也比较低。

发明内容

为了解决现有技术中的上述问题，即为了提高定位精度，本发明的目的在于提供一种单目视觉里程计定位方法及系统。

为解决上述技术问题，本发明提供了如下方案：

一种单目视觉里程计定位方法，所述单目视觉里程计定位方法包括：

获取训练数据集，所述训练数据集包括多个视频序列，各视频序列包括多帧连续图像；

根据各视频序列，建立单目视觉里程计定位模型；

其中，所述根据各视频序列，建立单目视觉里程计定位模型，具体包括：

对各相邻帧图像进行堆叠处理后，得到对应的堆叠图像；

通过FlowNet编码器，从各堆叠图像中提取高维特征；

通过LCGR模块，从所述高维特征中依次提取局部信息和全局信息；

根据所述局部信息和全局信息，通过全连接回归处理，得到相对位姿；

基于所述单目视觉里程计定位模型，根据待测视频序列，得到待测相对位姿。

可选地，所述通过LCGR模块，从所述高维特征中依次提取局部信息和全局信息，具体包括：

将各高维特征分别和K组3D卷积核进行卷积操作，得到不同长度的局部信息，其中第k组卷积核大小为k×3×3，且

基于Bi-ConvLSTM，从各高维特征中提取视频序列的全局信息。

可选地，相对位姿包括位移和姿态；

所述根据各视频序列，建立单目视觉里程计定位模型还包括：