[发明专利]一种融合深度学习和几何推理的单目视觉里程计方法

说明书

本发明涉视觉信息实时定位领域，具体是一种融合深度学习和几何推理的单目视觉里程计方法，包括如下步骤：步骤一、采集单目视觉图像序列数据；步骤二、获取单目视觉深度图像；步骤三、获取相邻单目视觉图像之间的光流图像；步骤四、根据光流图像，计算得到两帧单目视觉图像之间的光流一致性信息并结合设定的阈值，选择出两幅单目视觉图像中最佳的N对匹配像素点；步骤五、根据匹配像素点，结合单目视觉深度图像，建立起3D到2D的映射关系，根据PNP算法求解得到相机的旋转和位移参数，结合前一时刻相机的位姿，更新得到当前时刻的相机位姿；融合了深度学习技术和传统几何推理的优点，并且整个系统各模块间完全解耦，极大简化了整个系统。

技术领域

本发明涉及视觉信息实时定位领域，具体是指一种融合深度学习和几何推理的单目视觉里程计方法。

背景技术

在自动驾驶等智能领域中，汽车需要实时地获取自身的位置信息，然后才能进行决策分析，实现精准导航，目前主要依靠于卫星导航定位技术来实现位置信息的获取，但是在一些特殊场景下这存在很大问题，比如在野外隧道、树木遮挡、网络连接不畅等情形下，卫星定位会出现较大偏差，导致无法实现进一步的分析决策。

视觉里程计是用于获取物体在运动过程中实时位姿的技术，它能够仅依靠摄像头当前捕捉到的视觉图像信息，结合上一步的位姿，推算出当前的实时位姿，这样就可以在不依靠其他外部信息输入的情况下，实现对自身的实时定位，彻底摆脱了外界复杂环境因素的干扰，可以有效地应对突发场景，在自动驾驶领域具有广阔的应用前景，尤其是对于保障安全具有重要意义。

但是，现有的视觉里程计技术，一类是采用传统的方式，通过在两幅图像上选取特征点并进行匹配，建立起两幅图像之间的对应像素关系，再依据单孔相机成像的极线约束条件，通过几何求解的方式计算出相机的位姿变换参数，包括旋转和位移参数，从而计算出当前的位姿，在这类方法中，特征点的选取和精确匹配就成了关键，而且当图像中物体出现遮挡或者存在运动物体时，会变得更加难以处理，另一类是采用深度学习技术，借助于卷积神经网络强大的特征提取和抽象概括能力，根据图像序列直接预测出当前的位姿信息，但是，在这类方法中，虽然充分地抽取了图像中的信息，而且具有一定的泛化能力，对遮挡和运动物体具有一定的容错性，但是，在泛化能力提高的同时，也丢掉了原本应该严格存在的几何约束关系，从而导致最终的估计结果不准确，而且整个系统中各个模块深度耦合，增加了训练和测试的难度。

发明内容

基于以上问题，本发明提供了一种融合深度学习和几何推理的单目视觉里程计方法，融合了深度学习技术和传统几何推理的优点，并且整个系统各模块间完全解耦，极大简化了整个系统的训练、测试以及升级维护的成本和复杂度。

为解决以上技术问题，本发明采用的技术方案如下：

一种融合深度学习和几何推理的单目视觉里程计方法，包括如下步骤：

步骤一、采集单目视觉图像序列数据；

步骤二、利用单目图像深度预测网络获取单目视觉深度图像；

步骤三、利用光流预测网络获取相邻单目视觉图像之间的光流图像；

步骤四、根据光流图像，利用几何推力预测模块计算得到两帧单目视觉图像之间的光流一致性信息，并根据光流一致性信息以及设定的阈值，选择出两幅单目视觉图像中最佳的N对匹配像素点；

步骤五、根据匹配像素点，结合单目视觉深度图像，建立起3D到2D的映射关系，根据PNP算法求解得到相机的旋转和位移参数，结合前一时刻相机的位姿，更新得到当前时刻的相机位姿。

进一步，所述步骤二具体包括：

S21、将单目视觉图像序列数据分为训练集和测试集；