[发明专利]基于语义层次结构的Triplet网络学习方法

摘要

本发明提供了一种基于语义层次结构的Triplet网络学习方法，构建语义层次结构，层次化Triplets采样，之后层次化Triplet网络训练，再利用bilinear特征增强，从而更新网络的参数。本发明既利用了语义知识指导网络层次化的区分样本结构，又利用了层次间的关系让网络关注到更有效的Triplets对，充分挖掘了batch中样本的有效性，从而提升了网络学习到的深度特征的可分性。同时，本发明还利用bilinear函数对图像细节进行了增强，并与Triplet联合训练，进一步提升了网络的性能。

主权项

1.一种基于语义层次结构的Triplet网络学习方法，其特征在于包括下述步骤：步骤1：构建语义层次结构在一个数据库中，将数据库中已知的图像类别称作细类，作为语义层次结构的第二层，然后根据已知类别之间的视觉相似度或者语义关系将细类归纳为新的类别，即得到粗类，作为语义层次结构的第一层；步骤2.层次化Triplets采样首先从样本中随机选择一个样本作为anchor，然后以语义层次结构的第二层细类划分为指导，从和anchor属于同一细类的样本中随机挑选一个样本作为f‑positive，从和anchor属于不同细类的样本中随机挑选一个样本作为f‑negative；接着以语义层次结构的的第一层粗类划分为指导，从和anchor属于同一粗类的样本中随机挑选一个样本作为c‑positive，从和anchor属于不同粗类的样本中随机挑选一个样本作为c‑negative；因此，对于每一个anchor样本，得到按照细类匹配的f‑positive和f‑negative，也得到按照粗类匹配的c‑positive和c‑negative；本发明先在粗类中采样，然后在细类中采样，在粗类中采样时，对于每一个anchor样本，采样得到按照粗类匹配的c‑positive和c‑negative作为一个triplets；在细类中采样时，对于每一个anchor样本，采样得到按照细类匹配的f‑positive和f‑negative作为一个triplets；然后进入步骤3将在粗类匹配和细类匹配中得到的triplets网络进行训练；步骤3.层次化Triplet网络训练假设x是输入图像，为anchor图像，是和anchor来自同一类别的positive图像，是和anchor来自不同类别的negative图像，网络利用三个图像和组成的Triplets对进行网络损失的计算，然后通过最小化网络损失进行网络训练；本发明利用Triplets匹配方式，即给网络每次输入一个batch，然后在batch中在线生成符合要求的所有Triplets，损失函数L如下式：其中f(.)表示输入一张图像后，CNN最后一层全连接层所输出的特征向量，B表示本发明随机选取的batch，N表示batchsize的大小，m表示margin的大小，本发明m值范围在1‑10之间；在stage1，首先从粗类中进行采样，对于从同一粗类中选取样本记为从不同粗类中选取样本记为网络损失L表示如下：在stage2，从细类中进行采样，对于从同一细类中选取样本记为从不同粗类中选取样本记为网络损失L表示如下：步骤4.bilinear特征增强本发明利用bilinear函数对网络输出特征进行细节增强，对于anchor，positive，negative，有：其中，分别表示anchor，positive，negative样本通过最后一层卷积层输出的特征，l表示图像的位置，分别为三个样本增强后的特征，将增强后的特征通过全连接层后分别记为再计算网络损失，对于同类之间的损失函数L_p表示如下：异类之间的损失函数L_n表示如下：因此总体损失函数为：公式(9)中的损失函数通过反向传播继续更新网络的参数。