[发明专利]一种基于双三元组深度度量学习网络的零样本分类方法

摘要

一种基于双三元组深度度量学习网络的零样本分类方法，将样本的语义特征输入到映射网络，输出到视觉空间。在视觉空间中，选择一对属于同一类别的语义特征和视觉特征构成正样本对，然后再选取一个与正样本对不同类别的语义特征，构成三元组，输入到语义引导的三元组网络；同时，选择一对属于同一类别的语义特征和视觉特征构成正样本对，然后再选取一个与正样本对不同类别的视觉特征，构成三元组，输入到视觉引导的三元组网络。最后将语义引导的三元组网络和视觉引导的三元组网络的输出，输入到双三元组损失函数中计算。最后使用最近邻分类器对测试样本进行分类。本发明结构实现简单，训练方法更加简单，训练参数较少，在计算机硬件设备较差的情形下仍能训练。

主权项

1.一种基于双三元组深度度量学习网络的零样本分类方法，首先，利用卷积神经网络提取样本图像视觉特征；利用人工标注的属性特征作为样本语义特征，其特征在于，方法包括训练阶段和测试阶段：训练阶段，首先将训练样本语义特征输入到映射网络，映射网络的输出到视觉空间；在视觉空间中，选择一对属于同一类别的训练样本语义特征和训练样本视觉特征构成正样本对，再选取一个与正样本对不同类别的训练样本语义特征，构成三元组，输入到由语义特征作负样本的三元组网络；同时，选择一对属于同一类别的训练样本语义特征和训练样本视觉特征构成正样本对，再选取一个与正样本对不同类别的训练样本视觉特征，构成三元组，输入到由视觉特征作负样本的三元组网络；最后将由语义特征作负样本的三元组网络和由视觉特征作负样本的三元组网络的输出，输入到双三元组损失函数中计算损失，用以对映射网络、由语义特征作负样本的三元组网络和由视觉特征作负样本的三元组网络进行优化训练，选取由语义特征作负样本的三元组网络中的一个网络作为最终的深度度量学习网络；测试阶段，将测试样本视觉特征输入到训练完成的映射网络，得到的输出分别与不同类别的测试样本语义特征输入到训练得到的深度度量学习网络，深度度量学习网络输出得到测试样本视觉特征与不同类别的测试样本语义特征的相似度，使用最近邻分类器对样本进行分类，其中相似度最大的测试样本语义特征标注的类别作为样本视觉特征的类别。