[发明专利]一种基于Triplet深度神经网络结构的特征匹配方法

说明书

一种基于Triplet深度神经网络结构的特征匹配方法，属于图像处理技术领域。本发明的目的在于解决现有技术的SIFT及基于深度学习的TFeat、HardNet等特征描述方法存在匹配性能较差的问题。本发明设计了一个对训练样本均值和方差做约束的新型损失函数，结合Triplet深度神经网络，可得到性能优异的特征描述，用高斯分布描述匹配特征对和不匹配特征对的距离分布，根据减小特征匹配误差等价于减小两个匹配特征对距离分布重叠面积这一原则，得出对训练样本均值和方差做约束的新型损失函数。实验结果表明，与现有特征描述方法相比，本发明在匹配性能上得到了提升。

技术领域

本发明属于图像处理技术领域，涉及一种基于深度学习的图像特征匹配方法。

背景技术

在计算机视觉应用中，计算良好的特征描述是图像匹配、目标定位、三维重建等的一个重要的组成部分，对最终算法的准确性起了非常关键的作用。在过去的十几年里，计算特征描述一直是图像处理领域的研究热点。一般来说，计算特征描述可以分为人工设计和基于学习的方法。利用人工设计的方法进行特征提取时，很难做到综合考虑各种因素从而得到有效的描述；在复杂情况下很难达到良好的性能，而且调节需要大量的时间。采用基于学习的方法来计算特征描述，可以自动学习良好的特征，免去人工设计过程。传统的SIFT及基于深度学习的TFeat、HardNet等特征描述方法在匹配性能上较差，影响图像匹配的应用价值。

发明内容

本发明要解决的技术问题是：本发明的目的在于解决现有技术的SIFT及基于深度学习的TFeat、HardNet等特征描述方法存在匹配性能较差的问题，提出一种基于Triplet深度神经网络结构的特征匹配方法。

本发明为解决上述技术问题采取的技术方案是：

一种基于Triplet深度神经网络结构的特征匹配方法，所述方法包括如下步骤：

步骤一：训练基于Triplet结构的深度神经网络

Triplet结构的深度神经网络输入为三元组，该三元组由三个样本构成：一个是从训练数据集中随机选一个样本，该样本称为参考样本，然后再随机选取一个和参考样本属于同一类的样本和不同类的样本，这两个样本分别称为同类样本和异类样本；三个样本构成一个三元组，通过损失函数来训练整个网络；

基于Triplet结构的深度神经网络训练过程如下：

从训练数据库中生成三元组，其中表示参考样本，表示同类样本，表示异类样本，λ表示训练间隔；

训练一个深度神经网络，由网络输出得到每组样本相应的特征表达，分别记为：和让和特征表达之间的距离尽可能小，而和的特征表达之间的距离尽可能大，并且要让与之间的距离和与之间的距离之间有一个最小间隔λ；将上述内容表示成下列不等式形式：

该不等式定义了同类样本和异类样本之间的距离关系，即：所有同类样本之间的距离加上最小间隔λ，要小于异类样本之间的距离；当距离关系不满足上述不等式时，可通过求解下列损失函数：

+表示[]内的值大于零的时候，取该值为误差，小于零的时候，误差为零；

根据对正负匹配对距离分布的分析，对正负匹配对的均值和方差做约束以减小重叠区域面积，其中均值采用如下约束：

其中m是两分布均值之间的最小距离的间隔因子，μ_neg表示负匹配对的距离均值，μ_pos表示正匹配对的距离均值；

对分布的方差做如下约束：

L_var＝σ_pos+σ_neg (4)