[发明专利]一种基于单目的视觉里程计实现方法和系统

说明书

本发明公开了一种基于单目的视觉里程计实现方法，包括：通过相机获取视频中的连续两幅照片，并使用卷积神经网络对其中的第一幅照片进行估计，以得到估计后的光流照片，根据估计后的照片并使用双线性插值法对第二幅照片进行处理，以得到扭曲图，并根据扭曲图和第一幅照片得到光度误差，将第一幅照片、第二幅照片、估计矩阵、以及光度误差输入到另一个卷积神经网络中，以得到另一幅估计后的光流照片，对得到的另一幅估计后的照片进行下采样处理，将下采样处理后的照片平均分成多个子图，将下采样后的照片以及所有子图输入到另一个卷积神经网络中，以得到多维运动描述算子。本发明能够解决现有基于几何方法实现的视觉里程计实时性不好的技术问题。

技术领域

本发明属于模式识别技术领域，更具体地，涉及一种基于单目的视觉里程计实现方法和系统。

背景技术

视觉里程计是一种利用相机采集到的图像序列来估计出智能体相对运动的计算机视觉方法，在机器人自主定位和导航过程中起着很重要的作用。

目前的视觉里程计主要是通过几何法实现，其主要是提取两幅连续图片中的特征(例如ORB特征、SIFT特征等)，并在两幅图片中进行匹配和计算的方式实现。

然而，现有通过几何法实现的视觉里程计均存在以下问题：首先，其实时性不好，其次，在光线昏暗环境以及照片模糊情况下，其特征检测困难，从而导致位姿跟丢，鲁棒性不好。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于单目的视觉里程计实现方法和系统，其目的在于，解决现有采用几何法实现的视觉里程计存在的实时性差、特征检测困难以及鲁棒性不好的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于单目的视觉里程计实现方法，包括以下步骤：

(1)通过相机获取视频中的连续两幅照片，并使用卷积神经网络对其中的第一幅照片I₁进行估计，以得到估计后的光流照片，该照片是用以下估计矩阵w₁表示：

w₁＝(u₁,v₁)^T

其中u₁和v₁分别表示估计得到的照片中像素点的横坐标和纵坐标。

(2)根据估计后的照片并使用双线性插值法对第二幅照片I₂进行处理，以得到扭曲图并根据扭曲图和第一幅照片得到光度误差

(3)将第一幅照片I₁、第二幅照片I₂、估计矩阵w₁、以及光度误差e₁输入到另一个卷积神经网络中，以得到另一幅估计后的光流照片，该照片用估计矩阵w₂表示；

(4)对步骤(3)中得到的另一幅估计后的照片进行下采样处理，将下采样处理后的照片平均分成多个子图，将下采样后的照片以及所有子图输入到另一个卷积神经网络中，以得到多维运动描述算子；

(5)对于视频中的其余图片，重复上述步骤(1)至步骤(4)，直到所有图片均处理完毕为止，得到的多个多维运动描述算子构成相机的运动轨迹。

优选地，步骤(1)和步骤(3)中的卷积神经网络均采用六层卷积神经网络。

优选地，步骤(4)中的卷积神经网络采用2层卷积神经网络。

优选地，多维运动描述算子包括6个，分别是三维坐标，以及分别围绕X、Y和Z轴旋转的欧拉角。

按照本发明的另一方面，提供了一种基于单目的视觉里程计实现系统，包括：