[发明专利]一种用于零样本分类的多模态典型相关分析的方法

摘要

一种用于零样本分类的多模态典型相关分析的方法，包括：使用训练数据的视觉特征以及相应类别的语义特征求解得到映射矩阵；使用映射矩阵，将测试数据的视觉特征和未见过的类别的语义特征映射至公共空间；对测试数据进行分类。本发明能够寻求图像的视觉特征与多个模态的语义特征之间的公共空间，在零样本图像分类中可以取得更高的准确率，因此是一种有效的零样本图像分类方法。本发明的方法简单易行，效果优良。除了零样本图像分类问题，同时也能适应其他的多模态分类、检索问题。

主权项

1.一种用于零样本分类的多模态典型相关分析的方法，其特征在于，包括如下步骤：1)使用训练数据的视觉特征X₁以及相应类别的语义特征X₂,…X_c求解下式，得到映射矩阵W：式中，I是单位矩阵；2)在验证集中学习得到下式中的权重α_i式中，x_j是验证数据的视觉特征，是与x_j相对应类别的第k个模态的语义特征，sim(a,b)＝a^Tb/(||a||·||b||)，为两个向量的距离；3)使用映射矩阵W，将测试数据的视觉特征和未见过的类别的语义特征y^k映射至公共空间；4)用步骤2)中的公式对测试数据进行分类，式中的k^*是测试数据相应的类别。