[发明专利]一种基于光流与深度学习的视觉里程计实现方法和系统

摘要

本发明公开了一种基于光流与深度学习的视觉里程计实现方法，包括：通过相机获取视频中的连续两幅照片，并使用卷积神经网络对其中的第一幅照片进行估计，以得到估计后的光流照片，根据估计后的照片并使用双线性插值法对第二幅照片进行处理，以得到扭曲图，并根据扭曲图和第一幅照片得到光度误差，将第一幅照片、第二幅照片、估计矩阵、以及光度误差输入到另一个卷积神经网络中，以得到另一幅估计后的光流照片，对得到的另一幅估计后的照片进行下采样处理，将下采样后的照片输入到基于自编码器的网络中，以得到多维运动描述算子。本发明能够解决现有基于几何方法实现的视觉里程计鲁棒性不好以及基于学习法实现的视觉里程计普适性差的技术问题。

主权项

1.一种基于光流与深度学习的视觉里程计实现方法，其特征在于，包括以下步骤：(1)通过相机获取视频中的连续两幅照片，并使用卷积神经网络对其中的第一幅照片I1进行估计，以得到估计后的光流照片，该照片是用以下估计矩阵A1表示：A1＝(u1,v1)T其中u1和v1分别表示估计得到的照片中像素点的横坐标和纵坐标。(2)根据估计后的照片并使用双线性插值法对第二幅照片I₂进行处理，以得到扭曲图并根据扭曲图和第一幅照片得到光度误差e₁：(3)将第一幅照片I1、第二幅照片I2、估计矩阵A1、以及光度误差e1输入到另一个卷积神经网络中，以得到另一幅估计后的光流照片，该照片用估计矩阵A2表示；(4)对步骤(3)中得到的另一幅估计后的光流照片进行下采样处理(例如采样到155*48)，将下采样处理后的照片输入到基于自编码器的网络中，以得到多维运动描述算子；(5)对于视频中的其余图片，重复上述步骤(1)至步骤(4)，直到所有图片均处理完毕为止，得到的多个多维运动描述算子构成相机的运动轨迹。