[发明专利]基于深度学习的单目视觉里程计位姿优化与误差修正方法

权利要求书

1.一种基于深度学习的单目视觉里程计位姿优化与误差修正方法，其特征在于，包括以下步骤：

S1、获取图像数据，并计算对应的光流图像序列；

S2、采用固定步长滑动窗口对光流图片序列进行分割，得到若干分割后的输入序列数据，并利用编码器获得各输入序列数据的高维度运动特征；

S3、将高维度运动特征输入人工神经网络，得到运动的时序关系和运动的局部上下文信息；

S4、将步骤S3的结果输入位姿变换相似性计算模块进行运动相似性建模，得到运动时序关系的运动相关性特征和运动的局部上下文信息的运动相关性特征；并基于运动相关性特征利用注意力机制指导优化位姿特征，得到运动相似性提纯后的运动特征；具体方法为：

根据公式：

X_t″＝f^1×1([X_t′,H_t′])

得到t时刻输出的优化位姿特征X_t″，即通过运动相似性提纯的运动特征；其中X_t′为基于运动相似性通过注意力机制指导下提纯后的t时刻的运动特征，exp(·)为以自然对数为底的对数函数，S(·)为余弦相似度函数，X_t-1为t-1时刻人工神经网络提取的运动特征，X_t为t时刻人工神经网络提取的运动特征，即运动的局部上下文信息的运动相关性特征，W为运动特征的向量维度，H_t′为基于运动相似性通过注意力机制指导下提纯后的t时刻的运动局部上下文信息，H_n为人工神经网络最后一层长短时记忆网络的隐藏单元状态中存储的运动的局部上下文信息，即运动时序关系的运动相关性特征，f^1×1(·)为一层卷积核尺寸为1×1的卷积层，[X_t′,H_t′]为对提纯后的运动特征和提纯后的运动局部上下文信息的拼接过程；

S5、将通过运动相似性提纯的运动特征输入位姿修正预测网络，进行位姿优化和误差修正。

2.根据权利要求1所述的基于深度学习的单目视觉里程计位姿优化与误差修正方法，其特征在于，步骤S1的具体方法为：

S1-1、设置单目视觉传感器的采样频率，并采样得到三通道彩色RGB图像序列；

S1-2、根据公式Flo_t＝F(I_t-1,I_t)计算三通道彩色RGB图像序列的光流图像序列；其中Flo_t为t时刻的光流图像，F(·)为光流计算公式，I_t-1为t-1时刻的三通道彩色RGB图像，以及I_t为t时刻的三通道彩色RGB图像。

3.根据权利要求2所述的基于深度学习的单目视觉里程计位姿优化与误差修正方法，其特征在于：单目视觉传感器的采样频率设置为20Hz；三通道彩色RGB图像的数据维度为(1226,370,3)，光流图像的数据维度为(1226,370,2)；每两张三通道彩色RGB图像帧对应计算得到一张对应的光流图像帧。

4.根据权利要求1所述的基于深度学习的单目视觉里程计位姿优化与误差修正方法，其特征在于，步骤S2中得到若干分割后的输入序列数据的具体方法为：

利用长度为9且步长为9的滑动窗口对光流图像序列进行分割，得到长度为9的输入序列数据；其中每个输入序列数据均为四维张量数据，且维度为(9,1226,370,2)，包含滑动窗口长度下光流图像在三个维度下的数据。