[发明专利]一种基于双三元组深度度量学习网络的零样本分类方法

权利要求书

1.一种基于双三元组深度度量学习网络的零样本分类方法，首先，利用卷积神经网络提取样本图像视觉特征；利用人工标注的属性特征作为样本语义特征，其特征在于，方法包括训练阶段和测试阶段：训练阶段，首先将训练样本语义特征输入到映射网络，进而输出到视觉空间；在视觉空间中，选择一对属于同一类别的训练样本语义特征和训练样本视觉特征构成正样本对，再选取一个与正样本对不同类别的训练样本语义特征，构成三元组，输入到由语义特征作负样本的三元组网络；同时，选择一对属于同一类别的训练样本语义特征和训练样本视觉特征构成正样本对，再选取一个与正样本对不同类别的训练样本视觉特征，构成三元组，输入到由视觉特征作负样本的三元组网络；最后将由语义特征作负样本的三元组网络和由视觉特征作负样本的三元组网络的输出，输入到双三元组损失函数中计算损失，用以对映射网络、由语义特征作负样本的三元组网络和由视觉特征作负样本的三元组网络进行优化训练，选取得到的由语义特征作负样本的三元组网络中的一个网络作为最终的深度度量学习网络；测试阶段，将测试样本视觉特征输入到训练完成的映射网络中映射网络中的语义特征进行度量，得到的输出分别与不同类别的测试样本语义特征输入到训练得到的深度度量学习网络，深度度量学习网络输出得到测试样本视觉特征与不同类别的测试样本语义特征的相似度，使用最近邻分类器对样本进行分类，其中相似度最大的测试样本语义特征标注的类别作为样本视觉特征的类别；

所述双三元组损失函数l(x,a)表示如下：

其中，s(x,a)代表样本视觉特征和样本语义特征的距离，其中x,a是同类别的样本视觉特征和样本语义特征，a′代表不同类的样本语义特征，x′代表不同类的样本视觉特征，α是正负样本的距离间隔，属于超参数；Ω(W_f)，Ω(W_g)是映射网络和深度度量学习网络的正则项，W_f和W_g是映射网络和度量网络的权重，λ是正则项系数，f(·)表示语义特征到视觉特征的映射网络，g(·)表示深度度量学习网络，d(·,·)表示两个特征的欧氏距离。

2.根据权利要求1所述的一种基于双三元组深度度量学习网络的零样本分类方法，其特征在于，具体包括如下步骤：

1)在训练阶段，将样本语义特征通过三层的神经网络映射到视觉空间，把一个h维度的样本语义特征向量转换为和样本视觉特征同维度的d维特征向量，把样本语义特征矩阵作为输入，每一行代表一个类别的样本语义特征向量，h是样本语义特征的维度，k是样本的类别数，经过一个h×l×d的三层神经网络，得到变换后的样本语义特征矩阵：其中l为整数，且hld；

2)在视觉空间中将变换后的样本语义特征矩阵和原有的样本视觉特征矩阵作为输入，d是视觉特征的维度，m是训练样本的数目，X中的每一行代表一个样本视觉特征；经过一个d×p×d的三层神经网络，分别得到二次变换后的样本语义特征矩阵和一次变换后的样本视觉特征矩阵其中p为整数，且0pd；

3)利用到二次变换后的样本语义特征矩阵和一次变换后的样本视觉特征矩阵计算出所有样本语义特征和所有样本视觉的欧氏距离，得到距离矩阵其中d_ij的元素就代表第i个样本的视觉特征与第j类语义特征的距离；

4)在距离矩阵中，选取同类别的样本语义特征和样本视觉特征作为正样本对，再选取与正样本对不同类的样本语义特征作为负样本，共同输入到一个由语义特征作负样本的三元组网络；

5)同时在距离矩阵中，选取同类别的样本语义特征和样本视觉特征作为正样本对，再选取与正样本对不同类的样本视觉特征作为负样本，共同输入到一个由视觉特征作负样本的三元组网络；

6)使用双三元组损失函数l(x,a)公式作为目标函数，对映射网络、由语义特征作负样本的三元组网络和由视觉特征作负样本的三元组网络进行优化训练；

7)在测试阶段，将测试样本语义特征通过训练好的映射网络映射到视觉空间，然后将测试样本视觉特征和将测试样本语义特征逐一经过深度度量学习网络进行距离度量，使用最近邻分类器对样本进行分类，其中相似度最大的测试样本语义特征标注的类别作为样本视觉特征的类别，在传统零样本分类和广义零样本分类中，分别使用如下公式进行分类：

其中，X_U是来自未见类标签集合U的样本视觉特征集合，A_U是未见类标签集合U的样本语义特征集合，X_T是来自所有类别标签集合T的样本视觉特征集合，A_T是所有类别标签集合T的样本的语义特征集合，s(x_z,a_n)代表第z个测试样本的视觉特征x_z和第n类测试样本语义特征a_n的距离，y和t分别代表在传统零样本分类和广义零样本分类下的测试样本的预测标签。