[发明专利]一种基于自监督学习的位姿估计方法

说明书

本发明涉及计算机视觉与人工智能领域的交叉融合领域，更具体的说，涉及一种基于自监督学习的位姿估计方法。本发明包括以下步骤：S1、获取图像；S2、进行图像预处理；S3、将当前帧和前一帧图像一同送入至位姿估计网络并求得两帧之间的位姿估计，所述位姿估计网络通过和深度估计网络联合以自监督学习方式进行训练得到；S4、根据前一帧的全局位姿以及当前帧与前一帧之间的位姿估计，求得当前帧的全局位姿。本发明利用位姿估计网络和深度估计网络联合训练的方式实现自监督学习，在位姿估计网络和深度估计网络中加入注意力机制，最终实现长序列帧间位姿变换的一致性尺度估计，所生成的完整轨迹精度更高。

技术领域

本发明涉及计算机视觉与人工智能领域的交叉融合领域，更具体的说，涉及一种基于自监督学习的位姿估计方法。

背景技术

自主无人设备如无人机、无人车等实现自主能力主要依赖于感知、决策和控制，其中感知是一切的基础。感知，即赋予无人设备像人一样的观察和感受的能力，人类的信息获取主要是依靠视觉。无人设备同样希望能够利用摄像头像人类利用双眼一样感知周围的环境，知道自己当前所处的位置和方向。

因此，计算机视觉在近年来得到了迅速发展。当前对设备的位置以及方向的估计方式主要有人造指引，航位推算和GPS导航定位等，但这些技术也都有着很大的应用限制。

人造指引是指，通过人工标记一些先验位置信息，比如粘贴一些二维码标识，使得设备在识别到特定的信息后找到对应特定的位置，但这需要人工设置和标订大量的位置信息，尤其是对于复杂多变的环境，该方法无法实现适应性以及有效的推广。

航位推算技术是指，利用搭载的传感器如IMU(Inertial measurement unit，惯性测量单元)以及编码器等，通过对传感器信息的积分处理，得到位置信息，该方法的不足之处在于，其漂移会随着时间的增加而越来越大，并不满足实际应用的需求。

GPS全球定位系统的优点在于技术比较成熟，而且能够在全球范围内实现较高精度的定位水平，但是其定位精度依赖于接收卫星信号的强度，这导致该技术也有一定的缺陷，比如在室内环境下，无法提供有效的GPS定位。

因此，基于视觉的VO(Visual Odometry，视觉里程计)技术相比于上述技术能够提供一个更为准确、有效且鲁棒的位置及方向估计。

基于视觉的VO技术，包括基于特征点法的VO技术和基于直接法的VO技术。

基于特征点法的VO技术，主要包括以下步骤：特征提取，特征匹配以及位姿求解。

常用的特征提取方法包括：SIFT(Scale-invariant feature transform，尺度不变特征变换)特征提取、SURF(Speeded Up Robust Features，加速稳健特征)特征提取。

相机位姿求解通常是根据匹配的点对来计算的：

对于多组2D像素点，可以利用对极几何来估计；

对于多组3D空间点，可以采用ICP(Iterative Closest Point，迭代最近点)算法来解决；

对于3D空间点和2D像素点，可以采用PNP(Pespective-N-Point，N点透视)算法来求解。

基于特征点法的VO技术的代表作是PTAM(Parallel Tracking And Mapping，并行跟踪与映射)算法和ORB-SLAM2(Oriented FAST and Rotated BRIEF-SimultaneousLocalization and Mapping 2，第二代快速导向与简要旋转的即时定位与地图构建)算法。

基于直接法的VO技术，根据像素灰度的差异直接计算相机运动，并根据像素点之间的光度误差来优化位姿。