[发明专利]一种标记与语义自编码融合的零样本图像分类方法

权利要求书

1.一种标记与语义自编码融合的零样本图像分类方法，其特征在于，具体按照以下步骤实施：

步骤1、图像到语义的自编码映射求解，获得图像到语义的映射矩阵；

步骤2、图像到标记的自编码映射求解，获得图像到标记的映射矩阵；

步骤3、根据图像到语义的映射矩阵、图像到标记的映射矩阵求解图像标记融合系数；

步骤4、根据图像标记融合系数对零样本图像标记估计，根据估计结果进行分类标记。

2.根据权利要求1所述一种标记与语义自编码融合的零样本图像分类方法，其特征在于，步骤1具体过程为：

步骤1.1、取n个图像样本，对n个图像样本提取可见类别的图像特征矩阵和可见类别的语义嵌入特征矩阵

步骤1.2、根据单层的线性自编码器原理可得：

其中，d₁为图像特征维度，d₂为语义嵌入特征维度，λ₁为折中参数取为1，为图像到语义的映射矩阵；

步骤1.3、根据式(1)进而可得：

BA₁+A₁C＝D (2)

其中，B＝SS^T，C＝λ₁XX^T，D＝(1+λ₁)SX^T,通过matlab中的函数sylvester优化求解图像到语义的映射矩阵A₁。

3.根据权利要求2所述一种标记与语义自编码融合的零样本图像分类方法，其特征在于，步骤2具体过程为：

步骤2.1、对n个图像样本提取可见类别的标记矩阵

步骤2.2、根据单层的线性自编码器原理可得：

其中，d₃为标记维度，λ₂为折中参数取10，为图像到标记的映射矩阵；

步骤2.3、根据式(3)进而可得：

EA₂+A₂F＝G (4)

其中，E＝YY^T,F＝λ₂XX^T,G＝(1+λ₂)YX^T,通过matlab中的函数sylvester优化求解图像到标记的映射矩阵A₂。

4.根据权利要求3所述一种标记与语义自编码融合的零样本图像分类方法，其特征在于，步骤3具体过程为：

步骤3.1、根据最小平方误差原理进行图像标记融合，可得：

其中，β₁+β₂＝1,β₁＞0,β₂＞0，β＝[β₁β₂]为图像标记融合系数，是计算矩阵和矩阵各列向量成对相似度量形成矩阵，成对相似度量通过余弦距离计算，d₃为可见类别数目，W_s为可见类别成对语义特征相似矩阵，成对语义特征相似通过余弦距离计算；

步骤3.2、根据式(5)可得：

其中，通过多元线性回归求解图像标记融合系数β＝[β₁ β₂]。

5.根据权利要求4所述一种标记与语义自编码融合的零样本图像分类方法，其特征在于，步骤4具体过程为：

根据语义特征映射与标记映射迁移融合原理得零样本图像标记估计:

其中，为预测的标记矩阵表示着未可见类别的标记结构；为未可见类别的图像特征矩阵，m为未可见样本的数目；是计算矩阵和矩阵各列向量成对相似度量形成矩阵，d₄为未可见类别数目；W_u为可见类别成对语义特征相似矩阵；W_su为可见类别和未可见类别成对语义特征相似矩阵；

取为中任一元素，估计未可见类的样本的分类标记为：

其中，m为未可见样本的数目。