[发明专利]基于深度学习的视觉里程计特征点提取方法及视觉里程计

说明书

本发明公开了一种基于深度学习的视觉里程计特征点提取方法及视觉里程计，首先构建深度学习特征点模型，然后优化深度学习特征点模型，接着特征点检测，最后进行特征点匹配；本发明使用深度学习的方法解决图像特征点提取与匹配问题，可以自由灵活的设计角点特征。本发明实时性是视觉里程计性能的重要参考标准之一，使用深度学习特征点法相较于传统方法可以更充分地利用图形显卡硬件资源，从而达到加速目的。本发明相较于传统的特征点法，在视点变化、光度变化场景下，检测精度明显提高，鲁棒性明显增强。

技术领域

本发明属于计算机视觉、模式识别与机器学习技术领域，涉及一种视觉里程计特征点提取方法及视觉里程计，尤其涉及一种基于深度学习的提高视觉里程计特征点提取稳定性的方法及视觉里程计。

背景技术

即时定位和建图(SLAM)是解决机器人、无人驾驶、增强现实和虚拟现实中导航定位的重要技术。SLAM技术起源于国外，近年来也逐渐成为国内产业界和学术研究的热点。SLAM是指搭载特定传感器的主体，在没有环境先验信息的情况下，根据运动引起的图像变化，估计相机的运动以及周边地图。视觉里程计(VO)是SLAM的重要组成部分。

从前端来看，VO可分为两大类：特征点法、直接法或光流法。基于特征点法的VO根据已提取的特征点使用多视图几何方法求解相机的位姿，而直接法或光流法基于光度不变假设来直接计算相机位姿。本发明属于特征点法的范畴。在计算机视觉领域，SIFT算法提取的特征点展现了出众的效果，SURF算法相较于SIFT算法在速度上具有明显优势。由于SLAM对实时性要求较高，SIFT、SURF两种算法因效率问题都无法胜任前端VO。FAST算法是一种速度很快的关键点提取算法，但它不具有描述子，因此匹配效果较差。ORB算法在FAST角点基础上增加了尺度和旋转的描述，在效果和速度上非常均衡，是特征点法SLAM常用的算法。

SLAM作为2D、3D视觉领域结合的热点问题，通常由传统的图像处理和机器学习手段去解决，因空间几何难度和实时性的限制，这些方法很难像解决纯2D视觉问题那样完全被深度学习所替代。图像特征点提取属于2D视觉的范畴，而深度学习中的神经网络在图像特征提取方面具有卓越的优势。基于深度学习的特征点与传统特征点相似，包含关键点和描述子。LIFT利用深度学习网络框架实现了特征点的检测、方向估计和特征描述，相比于SIFT提取的特征点更加稠密。MagicPoint使用双卷积神经网络架构，一个用来提取图像角点，另一个用来对两幅图像的角点进行匹配。

发明内容

针对特征点法的视觉里程计中光度、视点变化对特征点提取稳定性降低的不利影响，本发明提出一种基于深度学习的视觉里程计特征点提取方法。

本发明所采用的技术方案是：一种基于深度学习的视觉里程计特征点提取方法，其特征在于，包括以下步骤：

步骤1：构建深度学习特征点模型；

所述模型是利用自监督学习方式对角点进行提取并生成对应描述子的网络模型，包括对人工角点预训练、对真实图片角点自标注、联合训练三个阶段；

步骤2：优化深度学习特征点模型；

步骤3：特征点检测；

步骤4：特征点匹配。

本发明还提供了一种视觉里程计，其特征在于：利用基于深度学习的视觉里程计特征点提取方法，针对单目相机的运动进行建模，模型的输入信息为图像的2D像素坐标；对于两帧图像的匹配通过式9，建立对极约束方程并使用随机一致性方法求出基础矩阵F，对于特征点落在平面的情况则求解单应矩阵H，使用矩阵分解方法从F和H中恢复位姿T_i,i+1；

其中，i为第i幅图像，m表示第i幅图像的特征点的序数。