[发明专利]一种基于光流与深度学习的视觉里程计实现方法和系统

说明书

本发明公开了一种基于光流与深度学习的视觉里程计实现方法，包括：通过相机获取视频中的连续两幅照片，并使用卷积神经网络对其中的第一幅照片进行估计，以得到估计后的光流照片，根据估计后的照片并使用双线性插值法对第二幅照片进行处理，以得到扭曲图，并根据扭曲图和第一幅照片得到光度误差，将第一幅照片、第二幅照片、估计矩阵、以及光度误差输入到另一个卷积神经网络中，以得到另一幅估计后的光流照片，对得到的另一幅估计后的照片进行下采样处理，将下采样后的照片输入到基于自编码器的网络中，以得到多维运动描述算子。本发明能够解决现有基于几何方法实现的视觉里程计鲁棒性不好以及基于学习法实现的视觉里程计普适性差的技术问题。

技术领域

本发明属于模式识别技术领域，更具体地，涉及一种基于光流与深度学习的视觉里程计实现方法和系统。

背景技术

视觉里程计是一种利用相机采集到的图像序列来估计出智能体相对运动的计算机视觉方法，在机器人自主定位和导航过程中起着很重要的作用。

目前的视觉里程计主要是通过学习法和几何法实现。对于学习法而言，其主要是结合深度学习的优势，使用网络来进行图像识别、检测与分割，进而估算相机的运动位置和姿态；对于几何法而言，其主要是提取两幅连续图片中的特征(例如ORB特征、SIFT特征等)，并在两幅图片中进行匹配和计算的方式实现。

然而，上述两种方法均存在一定的缺陷：对于学习法而言，其普适性差，尤其当测试数据的场景与训练场景变化较大或者运动速度变化时，算法的性能会受到很大的影响；对于几何法而言，首先，其实时性不好，其次，在光线昏暗环境以及照片模糊情况下，其特征检测困难，从而导致位姿跟丢，鲁棒性不好。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于光流与深度学习的视觉里程计实现方法和系统，其目的在于，解决现有采用学习法实现的视觉里程计所存在的普适性差的技术问题，以及采用几何法实现的视觉里程计存在的实时性差、特征检测困难以及鲁棒性不好的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于光流与深度学习的视觉里程计实现方法，包括以下步骤：

(1)通过相机获取视频中的连续两幅照片，并使用卷积神经网络对其中的第一幅照片I₁进行估计，以得到估计后的光流照片，该照片是用以下估计矩阵A₁表示：

A₁＝(u₁,v₁)^T

其中u₁和v₁分别表示估计得到的照片中像素点的横坐标和纵坐标。

(2)根据估计后的照片并使用双线性插值法对第二幅照片I₂进行处理，以得到扭曲图并根据扭曲图和第一幅照片得到光度误差e₁：

(3)将第一幅照片I₁、第二幅照片I₂、估计矩阵A₁、以及光度误差e₁输入到另一个卷积神经网络中，以得到另一幅估计后的光流照片，该照片用估计矩阵A₂表示；

(4)对步骤(3)中得到的另一幅估计后的光流照片进行下采样处理，将下采样处理后的照片输入到基于自编码器的网络中，以得到多维运动描述算子；

(5)对于视频中的其余图片，重复上述步骤(1)至步骤(4)，直到所有图片均处理完毕为止，得到的多个多维运动描述算子构成相机的运动轨迹。

优选地，步骤(4)包括以下子步骤：

(4-1)对步骤(3)中得到的另一幅估计后的光流照片进行下采样处理；