[发明专利]基于注意力U-net的单目视觉里程计方法

权利要求书

1.一种基于注意力U-net的单目视觉里程计方法，包括：

获取单目图像序列，将相邻的若干图像依次通过镜头边界识别算法，从连续帧中识别出镜头边界，整个模块使用关键帧进行运算，并使用高斯金字塔对原图像进行降维，减少后续计算量。

使用基于注意力的局部特征强化方法，对U-net自编码网络添加注意力机制，将关键帧序列输入到该网络，首先采用基于注意力的方法来区分纹理区域和平滑区域，当定位高频细节的位置时，注意机构用作特征选择器，其增强高频特征并抑制平滑区域中的噪声。

将特征强化后的序列输入到最终的Bi-LSTM中，每个时间戳上，根据t_n帧大致推测出t_n+1帧的图像作为反向序列的输入，获取每个时间戳的相机位姿。

2.根据权利要求1所述的方法，其特征在于，所述计算关键帧序列方法通过将每一帧划分为16×16大小的非重叠网格来识别每一帧的镜头边界。采用卡方距离计算相邻两帧之间相应的网格直方图差d：

H_i表示第i帧直方图，H_i+1表示第(i+1)帧直方图。I表示两帧中同一位置的图像块。连续两帧之间的直方图平均差计算如下

D为连续两帧的平均直方图差，d_k为第k个图像块之间的卡方差。N表示图像中图像块的总数。在直方图差异大于阈值Tshot的帧上识别镜头边界：

将获取到的图片序列使用现有的高斯金字塔实行降维，使用步长为2的卷积，降到原图的1/4。

3.根据权利要求1所述的方法，特征的重建，对多纹理区域进行识别与强化，强化高频细节。L_i-1表示第i个卷积层的输入，第i层的输出表示为：

L_i＝σ(W_i*L_i-1+b_i)

*指卷积的操作,σ是指非线性激活(ReLU)，特征重构网络由特征提取的卷积层、多个堆叠的稠密块和作为上采样模块的亚像素卷积层组成，稠密块由残差模块(Resblock)组成，显示了强大的对象识别学习能力。设H_i为第i个残差模块的输入，输出F_i可表示为：

F_i＝φ_i(H_i,W_i)+H_i

残差块包含两个卷积层。具体来说，残差模块函数可以表示如下

φ_i(H_i；W_i)＝σ₂(W_i²*σ₁(W_i¹*H_i))

其中W_i¹和W_i²分别为两个卷积层的权值，σ₁、σ₂表示归一化第i个残差模块H_i的输入是前一个残差模块输出的串联。使用一个具有1×1内核的卷积层来控制应该保留多少以前的状态。它自适应地学习不同状态的权重。第i个残差块的输入表示为：

H_i＝σ₀(W_i⁰*[F₁,F₂,...,F_i-1])

W_i⁰表示1×1的卷积权重，σ₀表示ReLU归一化。