[发明专利]基于语义层级的多任务Triplet损失函数学习方法

说明书

本发明提供了一种基于语义层级的多任务Triplet损失函数学习方法，为数据库构建语义层级网络，语义层级进行triplets采样，对多任务Triplet网络训练，利用树分类器进行多任务分类。本发明针对Triplet网络多层次化训练的问题，提出了一种将语义层级网络与Triplet相结合的损失函数，利用语义知识指导网络层次化的区分样本结构，学习到一种包含语义层级信息且泛化性更强Triplet特征，有效的运用在多任务学习中，提升了不同语义层次下的特征可分性。同时，研究了一种新的层级化采样方法，使得网络能够挖掘到更有效的hard triplets，最终提升网络的性能。

技术领域

本发明涉及机器学习和图像识别领域，尤其涉及基于语义层级的多任务Triplet损失函数学习。

背景技术

随着卷积神经网络计算量和任务复杂度的增加，传统的学习方法已经显示出了诸多不足，而度量学习通过计算图像之间的相似度来更新网络参数，已经成为应用在此领域内的一种有效检索相似图像的方法。度量学习的目的是计算图像之间的相似度，在特征空间中分离异类图像并聚集同类图像，最终学习出可区分性较强的图像特征。传统的softmax损失函数的目标是将不同类别的数据特征分别压缩到特征空间的某个范围，因此类间差异没有得到保留，但是这种差异性对于查找视觉和语义相似的实例却是至关重要。因此度量学习就通过从不同实例中进行差异学习来弥补这一不足，类内方差也同时得以保留。尽管在度量学习中学习的特征能够有效地检索到相似示例，但其分类精度可能会低于强调分类损失的模型。因此也有很多研究将两种损失结合起来进行网络学习，这样不仅可以有效地找到相似的实例，而且可以获得更准确的分类精度。

最经典的度量学习方法之一Triplet网络通常需要输入一个三元组triplets(包括anchor，positive，negative三个样本)，其中positive与anchor来自同一类别，negative与anchor来自不同类别。该网络的损失函数引入了两种输入的差异性度量，还使用阈值来灵活控制样本之间的距离。因此，当两个输入相似时，Triplet损失函数可以更好地为细节建模并学习更好的特征表示。因此，Triplet网络可以训练出高区分性的样本特征，这将在许多领域发挥巨大作用，尤其是在细粒度图像任务中。但是Triplet网络也存在缺点，例如，网络的损失函数收敛缓慢，采样方法对网络的影响太大，这些缺陷使得网络在很大程度上取决于所选tripets的可用性。除此之外，Triplet网络还很难在大规模数据集上进行训练。随着样本数量和类型的增加，网络将生成许多对训练没有帮助的triplets。因此，在细粒度图像中训练Triplet网络是一项非常具有挑战性的任务。

Triplet网络在细粒度图像领域的应用领域，研究发现在Tripet网络的发展中，大多数研究只关注一个语义层级下的类别信息。随着多任务学习需求的增加，在不同语义相关程度上定位相似细粒度特征非常重要。以正在研究的兰科植物识别为例，尽管区分不同的兰科物种是任务的目的，但同一兰科属下的物种之间仍然存在某些相似性。因此，当专注于兰科植物属的分类时，还将注意这些物种之间的相似性，这要求在更抽象的层次上定位不同的植物类别，所以这非常值得将样本的语义层级信息引入到度量学习中。语义层级实际上是根据逻辑上的从属关系来组织各种属概念的，该概念的层次越高，抽象概括的层次越高。由于传统的softmax忽略了类间相关性，因此很多研究在大规模和细粒度数据库中使用语义层级来组织类内相似性和类间差异性。因此如果将这种结构应用到“度量学习”中，就可以学习到不同层级下的样本相似性，这将为更复杂的任务提供更通用的Triplet特征。

发明内容

为了克服现有技术的不足，本发明提供一种基于语义层级的多任务Triplet损失函数学习方法。本发明使用语义层级来构造一种新的多任务Triplet损失函数，使用该损失函数，可以学习具有分层信息的广义Tripet特征，该特征有效地用于多任务学习中，以提高不同语义层级下的特征可分性。同时，还研究了一种新的语义层级采样方法，使网络能够挖掘更有效的hard triplets(较难分的triplets)从而提高网络性能。