[发明专利]一种基于生成式对抗网络的视觉里程计算法

说明书

本发明涉及深度学习与视觉里程计领域，公开了一种基于生成式对抗网络的视觉里程计算法。本发明的创新点是结合生成式对抗网络对视觉里程计任务进行建模。首先设计生成器网络，并使用该网络从图像序列空间中生成位姿信息，其次设计鉴别器对生成器网络生成的位姿信息进行鉴别，经过对抗训练后，最后通过编码器对相机的位姿进行估计。实验结果表明本发明能够通过输入的图像准确的估计出相机位姿，进而达到其运动轨迹的估计。

技术领域

本发明属于图像及深度学习领域，涉及视觉里程计方法领域，特别是一种基于生成式对抗网络的视觉里程计领域。

背景技术

自主定位是自主导航的关键技术，近年来学者们针对自定位提出了许多种方法(例如激光定位、超声波定位等，而视觉里程计就是其中的一种较为新型的解决方案。视觉里程计是指利用视觉技术对图像序列进行分析，进而估计出自身位姿的技术。由于视觉里程计具有造价低廉，适应空中和水下环境等优点，目前引起了广泛关注并已取得巨大进步。在过去的十几年里，视觉里程计主要是指遵循特征提取(构造误差函数)、特征匹配和局部优化框架的几何法视觉里程计，通过连续图像间的几何变化估计出自身运动的位姿。例如其中的特征点法利用图像帧间特征点的变化，而直接法则是关注于像素点的变化。几何法视觉里程计往往需要精心地设计特征描述子或者误差函数才能取得更好的效果，这也使得其更加关注于固定场景，而在具有挑战和不可预测的场景(如低纹理、光线变化剧烈的场景)上却表现出不适应性。

自深度学习流行以来，已经广泛应用于诸多领域，例如语音识别、人脸检测、机器翻译等。深度学习方法具备从数据中拟合出潜在规律的能力，因此，基于深度学习的视觉里程计已成为视觉导航领域的研究热点。虽然基于学习的视觉里程计目前仍然不能与最新的基于几何法的视觉里程计相媲美，但其表现出了巨大潜力，不需要设计复杂的特征描述子，通过学习的方式就能对图像间的位姿变化信息进行提取，训练所的视觉里程计模型具有良好的鲁棒性。

生成对抗式网络是一种生成式模型，其由一个生成器网络和一个鉴别器网络组成。生成器网络负责对数据的潜在分布进行建模，从而生成新的样本；而鉴别器网络则负责对真实样本和生成器网络生成的样本进行区分。生成器网络的目的是使得自己生成的样本让鉴别器网络达到无法辨别出真假的地步，而鉴别网络的目的是辨别输入样本是来自真实样本集还是生成器网络生成的假样本集。生成对抗式网络的核心思想为博弈论中的零和博弈，通过对抗训练达到‘纳什平衡’状态，从而实现网络的收敛。生成对抗式网络在图像任务上表现出惊人潜力，在图像修复，风格迁移，超分辨率等诸多场景都有着应用，因此生成对抗式网络也必然在视觉里程计中存在潜在的利用价值。

发明内容

针对技术背景中传统视觉里程计在具有挑战的场景上存在的不足，本发明提出了一种基于生成式对抗网络的视觉里程计方法。为便于说明，本发明(一种基于生成式对抗网络的视觉里程计方法)，简写为MDGAN-VO。该方法以深度学习为基础，采用对抗学习的方式获取视觉里程计模型，减少了深度学习视觉里程计中损失函数的设计难度，训练所得模型在低纹理环境下能体现很好的性能。

根据所采用的技术和框架，本发明所采用的技术方案包括以下步骤：

S1：对所使用的数据集进行预处理以降低网络的收敛难度；

S2：构建自动编码器网络，通过训练获得编码器和解码器模型；

S3：构建生成器网络从图像序列中生成位姿信息；

S4：构建鉴别器网络对生成器网络生成的位姿信息和编码器输出的位姿信息进行真假鉴别；

S5：生成器网络与鉴别器网络进行对抗训练，当生成器网络在验证集上的损失值最小时，保存此时的生成器网络模型，其输出进入到解码器模型中从而实现相机的位姿估计。

其中S1的具体步骤为：