[发明专利]一种基于语义相关多模态映射方法的零样本图像分类方法

摘要

一种基于语义相关多模态映射方法的零样本图像分类方法，首先输入：训练数据的视觉特征矩阵、训练数据的辅助信息矩阵、权重参数、公共映射空间的维数、待测试数据的视觉特征，以及测试数据的辅助信息矩阵，进行如下步骤：计算训练数据中每两个类别之间的语义相似度；构建矩阵A；由矩阵A构造矩阵L；在训练数据的每个类别中，计算每两个图像在视觉空间中的距离之和；构造矩阵D；分别计算本征矢量P和Q；计算从视觉空间映射到公共空间的映射矢量，计算从辅助信息空间映射到公共空间的映射矢量；得到测试数据的分类结果。本发明使各个类别在公共空间中具有类内紧致性和类间分离性，本发明方法法在零样本图像分类中可以取得更高的准确率，简单易行，效果优良。

主权项

1.一种基于语义相关多模态映射方法的零样本图像分类方法，其特征在于，首先输入如下信息：训练数据的视觉特征矩阵X＝{x₁,x₂,...,x_n}，其中n为训练数据样本数；训练数据的辅助信息矩阵Y＝{y₁,y₂,...,y_m}，其中m为训练数据类别数；权重参数α，公共映射空间E的维数d；待测试数据的视觉特征x′，以及测试数据的辅助信息矩阵Y′＝{y′₁,y′₂,...,y′_t}，其中t是测试数据类别数，然后，进行如下步骤：1)计算训练数据中每两个类别之间的语义相似度其中i,j＝1,2,...,m,y_i为训练数据第i类的辅助信息，y_j为训练数据第j类的辅助信息，σ为可调节的参数；2)构建矩阵其中t_i是训练数据中第i类的图像样本个数，i,j＝1,2,...,m；3)由步骤2)中的矩阵A构造矩阵4)在训练数据的每个类别中，计算每两个图像在视觉空间中的距离之和其中l,k＝1,2,...,t_i；t_i是训练数据中第i类的图像样本个数；5)构造矩阵D＝diag{H₁,...,H_m}，其中H_i＝D_i‑S_i，6)利用如下公式分别计算本征矢量P＝[p₁,...,p_d]和Q＝[q₁,...,q_d]，将P和Q作变换矩阵，其中，α为权重参数,λ、μ为求得的特征值，d为公共映射空间E的维数；7)对于测试数据的图像特征x′利用P^Tx′计算从视觉空间映射到公共空间的映射矢量，利用Q^Ty′_j计算从辅助信息空间映射到公共空间的映射矢量，j＝1,2,...,m；8)在公共空间中，找到与P^Tx′距离最近的Q^Ty′_j，所述的Q^Ty′_j所对应的类别j就是所要求的测试数据的分类结果。