[发明专利]基于深度学习的视觉里程计特征点提取方法及视觉里程计

权利要求书

1.一种基于深度学习的视觉里程计特征点提取方法，其特征在于，包括以下步骤：

步骤1：构建深度学习特征点模型；

所述模型是利用自监督学习方式对角点进行提取并生成对应描述子的网络模型，包括对人工角点预训练、对真实图片角点自标注、联合训练三个阶段；

所述对人工角点预训练，使用OpenCV图像处理库生成预定数量的包含简单几何形状的图像，图像中加入高斯噪声，并记录相应的角点标注信息，作为标签；使用VGG-16网络对这些人工生成的标注图像进行训练得到一个基础角点检测器；

所述对真实图片角点自标注，结合Homegraphic Adaptation方法，使用人工角点预训练中得到的基础角点检测器对若干自然场景图像进行角点提取，即通过自监督的方式得到自然场景图像的角点标注信息；

所述联合训练，使用Warp方法，对真实图片角点自标注中所得的带有标注信息的图像进行仿射变换，生成角点标注图像对；使用VGG-16网络对角点标注图像对进行再训练，通过最小化角点距离误差函数和图像对匹配误差函数，得到能同时提取角点和描述子的模型；

步骤2：优化深度学习特征点模型；

步骤3：特征点检测；

步骤4：特征点匹配；

使用双向最邻近方法对描述子进行匹配；

匹配公式为：

其中，d_i^k为描述子，对每个描述子进行归一化处理得到为对第i幅图像的第k个描述子进行归一化得到的结果，N为自然数；

使用欧氏距离d^m,n作为描述子相似程度的度量范数，

d^m,n为两个描述子在欧氏距离上的相似度表示，距离d^m,n限定在阈值δ内，其值越小，表示两个描述子的匹配程度越高；

在给定前一帧图像的某个特征点时，求出下一帧图像的特征点使得描述子的距离最小化，即为一个匹配点对(m,n^*)，这样的所有匹配点对构成了两帧图像的特征点匹配集合A_m→n，称之为m→n方向的最邻近匹配；为了提升匹配的准确率，按照公式7计算n→m方向的最邻近匹配，得到匹配集合B_n→m，距离阈值δ用于过滤误匹配的情况；则最终的匹配集合为为A_m→n和B_n→m的交集，特征点双向最邻近匹配集合为A_m→n∩B_n→m；

。

2.根据权利要求1所述的基于深度学习的视觉里程计特征点提取方法，其特征在于：步骤2中所述优化深度学习特征点模型，针对联合训练中，对仿射变换的图像进一步实施光度变换，使用亮度非线性逐点调整方法对图像亮度进行Gamma调整，图像亮度Gamma调整为：

I′_(x,y)＝(I_(x,y)/255)^γ·255,0.5≤γ≤2    (1)

其中，I_(x,y)和I′_(x,y)分别是像素(x,y)的灰度值和校正值，γ为调整参数，取值区间为[0.5,2]，当γ值大于1可增加图像亮度，反之则降低图像亮度。