[发明专利]一种基于双三元组深度度量学习网络的零样本分类方法

说明书

一种基于双三元组深度度量学习网络的零样本分类方法，将样本的语义特征输入到映射网络，输出到视觉空间。在视觉空间中，选择一对属于同一类别的语义特征和视觉特征构成正样本对，然后再选取一个与正样本对不同类别的语义特征，构成三元组，输入到语义引导的三元组网络；同时，选择一对属于同一类别的语义特征和视觉特征构成正样本对，然后再选取一个与正样本对不同类别的视觉特征，构成三元组，输入到视觉引导的三元组网络。最后将语义引导的三元组网络和视觉引导的三元组网络的输出，输入到双三元组损失函数中计算。最后使用最近邻分类器对测试样本进行分类。本发明结构实现简单，训练方法更加简单，训练参数较少，在计算机硬件设备较差的情形下仍能训练。

技术领域

本发明涉及一种零样本分类方法。特别是涉及一种基于双三元组深度度量学习网络的零样本分类方法。

背景技术

近年来，因为在大规模数据集分类任务上的突出性能，深度学习得到了大力发展。但是一个突出的问题也愈加明显，带有标注的数据需要花费大量的人力物力来获得，甚至在有些情况下极难获得，如濒危动物的图像。相比于深度学习需要大量带标注的数据，人类仅仅需要少量样本，甚至不需要样本就可以进行识别任务。例如当一个人在已经认识猫的情况下，告知他老虎的额头还有“王”字花纹，他极有可能辨别出老虎。正是受到人类这一能力的启发，学者们开始研究零样本分类。零样本分类通过对可见类的学习，利用语义特征，达到识别未见类的目的。可见类与未见类通过语义特征建立联系，语义特征可以是属性特征也可以是词向量。

现有的大部分零样本分类方法都是采用映射的方法，将视觉特征和语义特征映射到同一空间中，使用可见类的样本来学习这一映射，测试时采用最近邻分类器，也就是距离测试样本最近的语义特征的标签即为测试样本的预测标签。这种基于映射的方法，由于在测试阶段采用最近邻分类法，所以在训练过程中样本间的距离度量是十分关键的。在零样本分类中，一些学者也采用度量学习的方法来解决零样本分类问题。具体地是，此类方法利用某种映射，再使用某种相似度度量方法，使得映射后样本的视觉特征和语义特征间，属于同一类别的特征相似度高，不同类别特征相似度低。然而此类方法没有充分利用样本的视觉特征和语义特征间的区别与联系。

发明内容

本发明所要解决的技术问题是，提供一种能够更加全面地学习类别之间的异同信息基于双三元组深度度量学习网络的零样本分类方法。

本发明所采用的技术方案是：一种基于双三元组深度度量学习网络的零样本分类方法，首先，利用卷积神经网络提取样本图像视觉特征；利用人工标注的属性特征作为样本语义特征，方法包括训练阶段和测试阶段：训练阶段，首先将训练样本语义特征输入到映射网络，映射网络的输出到视觉空间；在视觉空间中，选择一对属于同一类别的训练样本语义特征和训练样本视觉特征构成正样本对，再选取一个与正样本对不同类别的训练样本语义特征，构成三元组，输入到由语义特征作负样本的三元组网络；同时，选择一对属于同一类别的训练样本语义特征和训练样本视觉特征构成正样本对，再选取一个与正样本对不同类别的训练样本视觉特征，构成三元组，输入到由视觉特征作负样本的三元组网络；最后将由语义特征作负样本的三元组网络和由视觉特征作负样本的三元组网络的输出，输入到双三元组损失函数中计算损失，用以对映射网络、由语义特征作负样本的三元组网络和由视觉特征作负样本的三元组网络进行优化训练，选取由语义特征作负样本的三元组网络中的一个网络作为最终的深度度量学习网络；测试阶段，将测试样本视觉特征输入到训练完成的映射网络，得到的输出分别与不同类别的测试样本语义特征输入到训练得到的深度度量学习网络，深度度量学习网络输出得到测试样本视觉特征与不同类别的测试样本语义特征的相似度，使用最近邻分类器对样本进行分类，其中相似度最大的测试样本语义特征标注的类别作为样本视觉特征的类别。

所述双三元组损失函数l(x，a)表示如下：

s.t.s(x，a)＝d(g(x)，g(f(a))) (1)