[发明专利]一种融合深度学习和几何推理的单目视觉里程计方法

权利要求书

1.一种融合深度学习和几何推理的单目视觉里程计方法，其特征在于，包括如下步骤：

步骤一、采集单目视觉图像序列数据；

步骤二、利用单目图像深度预测网络获取单目视觉深度图像；

步骤三、利用光流预测网络获取相邻单目视觉图像之间的光流图像；

步骤四、根据光流图像，利用几何推力预测模块计算得到两帧单目视觉图像之间的光流一致性信息，并根据光流一致性信息以及设定的阈值，选择出两幅单目视觉图像中最佳的N对匹配像素点；

步骤五、根据匹配像素点，结合单目视觉深度图像，建立起3D到2D的映射关系，根据PNP算法求解得到相机的旋转和位移参数，结合前一时刻相机的位姿，更新得到当前时刻的相机位姿。

2.根据权利要求1所述的一种融合深度学习和几何推理的单目视觉里程计方法，其特征在于：所述步骤二具体包括：

S21、将单目视觉图像序列数据分为训练集和测试集；

S22、获取一幅输入图像之后，首先通过四层卷积网络进行特征提取，每一层卷积网络均使用步长为1的卷积，并配合padding操作，在每一层卷积网络之后，使用步长为2的最大池化操作，将图像相对于上一层缩放2倍，在空间分辨率缩放的同时，在深度维度上增加一倍，在卷积池化的过程当中，使用Relu做为激活函数，同时添加dropout操作，最后得到多尺度的特征图像；

S23、在得到多尺度的特征图像后，通过一个自下而上的带跳跃连接的卷积网络，来进行最终单目视觉深度图像的生成。

3.根据权利要求2所述的一种融合深度学习和几何推理的单目视觉里程计方法，其特征在于：所述步骤S23具体包括：

首先，根据第四层特征图像，通过卷积之后，生成一个粗略的深度图像，此时该粗略的深度图像的分辨率是原始图像的1/8；紧接着，将生成的粗略的深度图像进行上采样，用于生成分辨率为原始图像的1/4的深度预测图，以此类推，最终生成一个和原始图像分辨率一致的单目视觉深度图像。

4.根据权利要求2所述的一种融合深度学习和几何推理的单目视觉里程计方法，其特征在于：所述步骤三具体包括：

S31、设计图像金字塔网络用于提取两帧单目视觉图像之间的特征信息。

S32、在得到两帧单目视觉图像的金字塔特征图像F₁～F₆之后，先从分辨率最低的特征图像F₆开始，将两帧单目视觉图像的特征图像首先输入到M模块中，通过M模块的处理，生成一个粗略的光流图像x_m，再将粗略的光流图像x_m和当前时刻单目视觉图像的特征图像输入到R模块中进行正则化处理，最终得到在这一级单目视觉图像上所对应的光流图x_s。

S33、对各个尺度的特征图都使用步骤S32操作，最终生成一个与原始图像同分辨率的光流图像。

5.根据权利要求4所述的一种融合深度学习和几何推理的单目视觉里程计方法，其特征在于：所述步骤S31具体包括：

首先，输入相邻两帧单目视觉图像后，会先经过一个6层的卷积神经网络进行图像的初步处理，提取单目视觉图像的相关特征，建立起这两帧单目视觉图像的金字塔特征图像，该金字塔特征图像一共有F₁～F₆共6级，分辨率以1/2的比率依次降低，同时通道数则相应地依次增加。

6.根据权利要求5所述的一种融合深度学习和几何推理的单目视觉里程计方法，其特征在于：所述M模块包括如下步骤：

首先，将前一时刻的特征图像生成的粗略的光流图像x进行二倍上采样，得到粗略的光流图像2x；然后，将当前时刻的特征图像F₂进行定向变换得到并将其作为人工合成的特征图像F₁；计算原始特征图像F₁和人工合成的特征图像之间的相关性信息，在得到相关性信息之后，再将相关性信息通过一个卷积层进行抽象处理，最终生成两帧单目视觉图像之间的光流差Δx_m，最后，在粗略的光流图像2x的基础上，加上光流差Δx_m，得到更新后的粗略的光流图像x_m。