[发明专利]基于注意力U-net的单目视觉里程计方法

说明书

本申请公开一种基于注意力U‑net的单目视觉里程计方法及装置。所述方法将获取单目图像序列，将相邻的若干图像依次通过镜头边界识别算法，从连续帧中识别出镜头边界，整个模块使用关键帧进行运算，并使用高斯金字塔对原图像进行降维，减少后续计算量。使用基于注意力的局部特征强化方法，对U‑net自编码网络添加注意力机制，将关键帧序列输入到该网络，首先采用基于注意力的方法来区分纹理区域和平滑区域，当定位高频细节的位置时，注意机构用作特征选择器，其增强高频特征并抑制平滑区域中的噪声。将特征强化后的序列输入到最终的Bi‑LSTM(Bi‑directional Long Short‑Term Memory，双向长短时记忆网络)中，每个时间戳上，根据t_n帧大致推测出t_n+1帧的图像作为反向序列的输入，根据上下文环境获取每个时间戳的相机位姿。

技术领域

本申请涉及图像增强，视觉里程计领域，特别是涉及一种基于注意力U-net的单目视觉里程计方法及系统。

背景技术

移动机器人完成自主导航，首先需要确定自身的位置和姿态，即定位，视觉里程计(Visual Odometry,VO)也因此提出来的，仅利用单个或多个相机所获取的相邻帧图像流估计智能体位姿，可以对环境进行重建。VO大多借助计算帧间的运动估计当前帧的位姿，VO目的是为了计算帧与帧之间相机的运动轨迹，从而为后端的闭环检测和建图减少漂移。基于深度学习的视觉里程计，无需复杂的几何运算，端到端的运算形式使得基于深度学习的方法更简洁。

在这些基础上，研究者尝试探索一种新的智能图片单应性计算方式。通过实时收集图像序列，通过神经网络的学习丰富对图像的理解，获取相邻帧特征匹配，得到相机位姿的目的。Konda等人最先通过提取视觉运动和深度信息实现了基于深度学习的VO。在使用立体图像估计出深度信息之后，卷积神经网络(convolutional neural network，CNN)通过softmax函数预测相机速度和方向的改变。Kendall等人利用CNN实现了输入为RGB图像，输出为相机位姿的端到端定位系统。该系统提出了23层深度卷积网络PoseNet，利用迁移学习将分类问题的数据库用于解决复杂的图像回归问题。其训练得到的特征相较于传统局部视觉特征，对于光照、运动模糊以及相机内参等具有更强的鲁棒性。Costante等人用稠密光流代替RGB图像作为CNN的输入。该系统设计了三种不同的CNN架构用于VO的特征学习，实现了算法在图像模糊和曝光不足等条件下的鲁棒性。然而，实验结果也表明训练数据对于算法影响很大，当图像序列帧间运动较大时，算法误差很大，这主要是由于训练数据缺少高速训练样本。

为解决上述问题，现有的特征提取网络里，一般采用CNN提取实例表征，但是遇到光照复杂和纹理复杂等环境的情形时，很难提取到有效的特征或者提取到的特征不够突出，存在很大误差；常见的CNN处理过程中，高频信息在后一层容易丢失，而使用残差链接可以缓解这种丢失，进一步增强高频信号；另外在数据关联方面，现有的视觉里程计方法一般在处理图片序列是仅仅考虑了前向序列的传播，往往忽略反向序列的作用，没有充分挖掘上下文关联关系。

发明内容

本发明的目的是提供一种基于注意力U-net的单目视觉里程计方法，在于克服上述问题或者至少部分地解决或缓减解决上述问题。

根据本发明的一个方面，获取单目图像序列，将相邻的若干图像依次通过镜头边界识别算法，从连续帧中识别出镜头边界，整个模块使用关键帧进行运算，并使用高斯金字塔对原图像进行降维，减少后续计算量。

其中获取关键帧序列方法，通过将每一帧划分为16×16大小的非重叠网格来识别每一帧的镜头边界。采用卡方距离计算相邻两帧之间相应的网格直方图差d：

H_i表示第i帧直方图，H_i+1表示第(i+1)帧直方图。I表示两帧中同一位置的图像块。连续两帧之间的直方图平均差计算如下