[发明专利]一种基于光流与深度学习的视觉里程计实现方法和系统

权利要求书

1.一种基于光流与深度学习的视觉里程计实现方法，其特征在于，包括以下步骤：

(1)通过相机获取视频中的连续两幅照片，并使用卷积神经网络对其中的第一幅照片I₁进行估计，以得到估计后的光流照片，该照片是用以下估计矩阵A₁表示：

A₁＝(u₁,v₁)^T

其中u₁和v₁分别表示估计得到的照片中像素点的横坐标和纵坐标；

(2)根据估计后的照片并使用双线性插值法对第二幅照片I₂进行处理，以得到扭曲图并根据扭曲图和第一幅照片得到光度误差e₁：

(3)将第一幅照片I₁、第二幅照片I₂、估计矩阵A₁、以及光度误差e₁输入到另一个卷积神经网络中，以得到另一幅估计后的光流照片，该照片用估计矩阵A₂表示；

(4)对步骤(3)中得到的另一幅估计后的光流照片进行下采样处理(例如采样到155*48)，将下采样处理后的照片输入到基于自编码器的网络中，以得到多维运动描述算子；步骤(4)包括以下子步骤：

(4-1)对步骤(3)中得到的另一幅估计后的光流照片进行下采样处理；

(4-2)利用基于自编码器的网络中的编码器对下采样处理后的光流照片进行编码，以得到多维矩阵，具体采用以下公式：

其中u表示下采样处理后的照片，z表示得到的多维矩阵中的元素，l表示得到的多维矩阵的维数，w表示基于自编码器的网络中编码器的权重；

(4-3)利用基于自编码器的网络中的解码器对步骤(4-2)中得到的多维矩阵进行解码，以得到另一幅光流照片；

(4-4)计算步骤(4-3)中得到的另一幅光流照片与步骤(3)中得到的另一幅估计后的光流照片之间的欧氏距离作为基于自编码器的网络的损失函数，并通过最小化损失函数确定编码器的权重；

(4-5)根据步骤(4-4)中确定的编码器的权重，并使用步骤(4-2)中的公式计算得到多维矩阵；

(4-6)将步骤(4-5)得到的多维矩阵输入全连接网络，从而得到多维运动描述算子；

(5)对于视频中的其余图片，重复上述步骤(1)至步骤(4)，直到所有图片均处理完毕为止，得到的多个多维运动描述算子构成相机的运动轨迹。

2.根据权利要求1所述的视觉里程计实现方法，其特征在于，步骤(4-2)具体为，输入光流图片经过卷积核大小为64×5×5，步长为2×2的卷积后再使用ReLU激活函数引入非线性操作，从而得到第一卷积层大小为64×150×47，再经过2×2的最大池化后得到第一池化层，输出的大小为64×75×24，第二层卷积核大小为64×3×3，卷积步长为1×1，使用ReLU激活函数，再经过2×2的最大池化后得到第二池化层，大小为64×38×12；第三层卷积核大小同样为64×3×3，卷积步长为1×1，使用ReLU激活函数，并且输出的第三卷积层大小为64×38×12，最终得到多维矩阵。

3.根据权利要求2所述的视觉里程计实现方法，其特征在于，步骤(4-3)具体为，多维矩阵首先经过卷积核大小为6×3×3、卷积步长为4×4的反卷积操作，再使用ReLU激活函数进行非线性操作，从而得到大小为6×152×48的第一反卷积层，然后，将第一反卷积层大小裁剪到6×150×47，随后，再经过卷积核大小为2×3×3，卷积步长为2×2的转置卷积操作，并利用ReLU激活函数进行非线性操作，从而输出2×300×94的光流照片。

4.根据权利要求3所述的视觉里程计实现方法，其特征在于，步骤(4-6)具体为，多维矩阵经过2×2的最大池化后得到第三池化层，其大小为64×19×6，然后通过融合层将多维矩阵和第三池化层串接到成一维向量，然后输入给全连接层处理，其中全连接层是由2个激活层组成，且均使用线性整流函数ReLU，最后输出的6维向量就是多维运动描述算子。