[发明专利]基于深度学习的单目视觉里程计位姿优化与误差修正方法

说明书

本发明公开了一种基于深度学习的单目视觉里程计位姿优化与误差修正方法，其包括获取图像数据，并计算对应的光流图像序列；采用固定步长滑动窗口对光流图片序列进行分割，得到若干分割后的输入序列数据，并利用编码器获得各输入序列数据的高维度运动特征；将高维度运动特征输入人工神经网络；利用位姿变换相似性计算模块对运动的时序关系和运动的局部上下文信息进行运动相似性建模，并利用注意力机制指导优化位姿特征，得到经过运动相似性提纯的运动特征；将运动相似性提纯后的运动特征输入位姿修正预测网络，实现位姿优化和误差修正。本发明充分挖掘和建模了图像运动数据中的时序关系和连续运动的相似性，提高了鲁棒性。

技术领域

本发明涉及计算机视觉领域，具体涉及一种基于深度学习的单目视觉里程计位姿优化与误差修正方法。

背景技术

近年来，随着物联网相关应用的迅速发展，带动了基于位置的服务(LBS)的需求飞涨，这使得对高精度实时定位方案的需求日益迫切。稳定、准确、实时的定位系统是实现诸如机器人控制、无人驾驶、虚拟现实(VR)、商品零售等物联网应用的重要保障。

尽管当前通过如全球定位系统(GPS)、北斗卫星导航系统(BDS)、伽利略卫星定位系统(Galileo)以及格洛纳斯(GLONASS)定位系统的全球导航卫星系统(GNSS)进行定位已经十分普及，但对于一些具有严重遮挡的室外环境(如隧道、森林等)或受建筑结构对于卫星信号的屏蔽与干涉影响的室内场景，依靠卫星的定位会不准确。而利用视觉传感器的视觉里程计(VO)是解决以上问题的一种有效途径，其具备视觉输入信息量丰富、适用场景广泛、成本低等诸多优点，是实现定位应用的常用手段。

然而，由于单目视觉里程计主要利用相邻采集时刻的图像输入来预测相机载体的帧间位姿变换，进而累积得到整体运动轨迹，会产生累计误差导致轨迹估计随运动距离的增加而发散。因此能够有效地消除视觉里程计位姿预测的累积误差是实现高精度单目视觉里程计定位系统的关键。现阶段，缓解单目视觉里程计累积误差并提高位姿预测精度的常见方法有：1)构建单目相机载体运动的位姿图和回环检测，对预测位姿进行后端优化。如ORB-SLAM定位系统基于对地标的共视原理对定位系统预测轨迹进行局部和全局的优化。2)通过数据融合的方法，利用其他种类的信息修正视觉里程计定位系统。如视觉-惯性里程计(VIO)就是通过结合惯性导航信息，消除视觉测量单元数据漂移的高精度定位系统。3)通过对图像序列数据进行时间维度上的运动相关性建模，用于优化位姿预测。如深度学习单目视觉里程计SRNN模型就是通过构建相邻时刻位姿变换的相关性对预测位姿进行指导优化的系统方案。但是，第一种消除视觉里程计预测累积误差的方案具有一定的局限性，主要表现在对于环境场景的依赖性高，普适性较弱。例如对于真实的未曾出现过的运动场景，无法事先构建环境地标，且运动轨迹存在无法闭环的可能，因此位姿图优化和回环检测模块很可能失效。此外，第二种消除单目视觉里程计预测累积误差的方案也具有一定的限制，主要表现在当其他种类的传感器测量数据质量差时，会明显影响原本单目视觉里程计的预测精度，同时数据融合算法也会对最终的预测效果产生巨大的影响。

发明内容

针对现有技术中的上述不足，本发明提供的基于深度学习的单目视觉里程计位姿优化与误差修正方法解决了现有技术位姿优化与误差修正准确度和鲁棒性较差的问题。

为了达到上述发明目的，本发明采用的技术方案为：

提供一种基于深度学习的单目视觉里程计位姿优化与误差修正方法，其包括以下步骤：

S1、获取图像数据，并计算对应的光流图像序列；

S2、采用固定步长滑动窗口对光流图片序列进行分割，得到若干分割后的输入序列数据，并利用编码器获得各输入序列数据的高维度运动特征；

S3、将高维度运动特征输入人工神经网络，得到运动的时序关系和运动的局部上下文信息；