[发明专利]基于语义层级的多任务Triplet损失函数学习方法

权利要求书

1.一种基于语义层级的多任务Triplet损失函数学习方法，其特征在于包括下述步骤：

步骤1：为数据库构建语义层级网络；

对于一个数据库，构建一个两层级语义层级网络，将数据库中已知的图像类别称作细类，作为语义层次结构的第二层，然后根据类别之间的视觉相似度或语义关系将细类归纳到新的类别中得到粗类，作为语义层次结构的第一层；

步骤2：语义层级triplets采样；

在将图像输入到Triplet网络训练之前，需要获取包含anchor，positive和negative的triplets对，其中，anchor表示选择的参考图像，positive为和anchor来自于同一类别的图像，negative为和anchor来自不同类别的图像，计算相似度损失，从而进行网络训练；根据步骤1的语义层级关系，进行采样，采样的具体步骤如下：

采用balanced sampling，即对于整个数据集，先采样h个粗类，然后在每个粗类中采样n个细类，在每个细类中再采样t个样本，因此，每一次训练的batch中包含h*n*t个样本；

步骤3：多任务Triplet网络训练；

采样完成后，将采样后的样本输入到网络中进行训练；假设x是输入图像，作为anchor图像，是和anchor来自同一类别的positive图像，是和anchor来自不同类别的negative图像，网络利用三个图像组成的Triplets对用公式(1)计算最小化网络的损失，若总共输入N张训练图像，则Triplet损失函数如下式：

其中，阈值m控制同类聚集和异类分离的程度，表示margin的大小，m值范围在1-10之间；公式(1)最小化的要求为：

是和anchor来自同一细类的positive图像，是和anchor来自不同细类的negative图像，是和anchor来自不同粗类的negative图像，网络利用四个图像组成的quadruplets最小化网络的损失，在细类层级采用和式(1)相同的triplet损失，在粗类层级引入一个新的限制项，用于限制样本和不同粗类图像之间的距离，则多任务Triplet函数为：

其中，其中f(.)表示输入一张图像后，CNN最后一层全连接层所输出的特征向量，m_f表示细类margin，控制细类之间图像的聚集度和分离度，m_c表示粗类margin，控制粗类之间的分离度，m_f以相对距离控制细类，m_c以绝对距离控制粗类，λ为权重；

在经过f(.)映射后的特征空间中，由于网络学习的目的是使得损失最小化，即使式(3)最小，也就是最小化最大化和

梯度计算为：

其中W_t指网络的权重，为网络计算的梯度；

以梯度更新网络的参数，使得网络的损失最小化；

步骤4：树分类器进行多任务分类；

在网络训练完成后得到多任务Triplet特征，构建一个树分类器对特征进行简单的分类，结合两层语义结构和softmax构建一个层次化的softmax树分类器，即在CNN的最后一层分类层并联粗分类softmax层和细分类softmax层，同时进行粗类和细类损失的计算和分类结果输出，从而实现多任务分类，细分类和粗分类的概率计算为：

假如将l类记为任意一类，其中为输入到粗分类器的特征值，为输入到细分类器的特征值，P表示总的粗分类概率，而C_l和F_l分别表示图像x被分类到的特定的粗类l和细类l的类别，C是属的总数，N代表图像被分类到的粗类任务组，精细分类预测分数应由粗层预测分数和细层预测分数共同确定；

当分类器中各类概率计算出来后，概率值最大值所对应的类别，即为所对应的类别。

2.根据权利要求1所述的一种基于语义层级的多任务Triplet损失函数学习方法，其特征在于：

所述步骤3中，将公式(3)扩展到batch训练中，在一个batch里寻找所有符合匹配的细类triplets和粗类pairs在细类和粗类的层级上分别计算网络产生的损失，网络的损失函数如下式所示：

其中B表示选取的batch，M表示batchsize的大小。