[发明专利]一种基于自编码器的零样本图像识别算法及系统

权利要求书

1.一种基于自编码器的零样本图像识别算法，其特征在于，所述方法包括：

使用预训练的Arc-SENet网络提取源域中已知类样本的特征向量；

将所述多个已知类样本的特征向量拼接为已知类样本的特征矩阵，利用预设的自编码器在源域中学习出源域的投影矩阵和解码投影矩阵；

在目标域通过最小化自编码器的目标函数，将未知样本的属性投影到特征空间；

将源域的自编码器和目标域的编码器关联起来，得到结合源域和目标域的自编码器目标函数；

通过对目标函数进行迭代计算，得到目标域中未知类样本的属性矩阵和特征矩阵；

根据所述目标域中未知类样本的属性矩阵和特征矩阵，分别利用正向标签预测和反向标签预测两种方式对未知样本进行标签预测，若两种方式得到标签结果相同，则所得标签即为图像样本识别结果，否则则将未知类样本重新输入自编码进行样本空间投影计算。

2.如权利要求1所述的基于自编码器的零样本图像识别算法，其特征在于，所述Arc-SENet网络的训练过程为：

所述Arc-SENet网络由多个SE模块构成，网络的第一个SE模块接收源域中已知样本类别的图像，并对其进行卷积和Squeeze操作，以完成第一个SE模块对图像特征的提取，并将提取内容输入至下一个模块，最后一个模块的输出值即为源域中已知样本类别图像的特征向量，并使用本发明所提出的ArcLoss损失函数进行训练；

1)SE模块接收图像样本矩阵X，其中X＝[x¹，...，x^c]，并在卷积层进行卷积转换操作，令V＝[v₁，...v_c]表示网络学习到卷积核的集合，因此卷积层的输出为U＝[u₁，...u_c]，所述第i个卷积核进行卷积操作的公式为：

其中：

*表示卷积操作；

是一个二维空间核，表示v_i中的一个通道信息，此通道信息作用于X对应的通道信息上；

X为SE模块的输入值；

2)通过H×W的空间维度对卷积的输出U进行压缩，将维度为H×W×C的卷积输出U转换为1×1×C的输出，以将多个空间维度的特征图进行聚合，从而产生一个通道描述器z，并将所述通道描述器z作为提取的图像样本特征向量，并输出到下一个SE模块中。其中，图像样本特征向量z中每一个元素c的计算公式如下：

其中：

u_c为第c个卷积核进行卷积操作的输出值；

H、W为卷积输出U的维度；

3)计算各特征向量之间归一化的互信息，本发明所提出的归一化互信息的计算公式为：

其中：

p(c_g，f_ei)为特征向量f_ei出现的频次与类别c_g中包含所有特征向量出现总频次的比值；

p(f_ei)为特征向量f_ei出现的频率；

p(c_g)为类别c_g所包含特征的数量与总特征数量的比值；

4)计算各特征向量的特征贡献因子

其中：

t(f_ei，c_g)为类别c_g中特征f_ei出现的频次；

5)利用基于归一化互信息的特征选择目标函数，对上述所提取出的特征向量进行计算，选取目标函数值最大的k个特征向量f_ei作为本发明所选择的特征向量，所述基于归一化互信息的特征选择目标函数为：

其中：

N为样本数量；

C为样本类别集合；

S为特征向量集合；

6)利用本发明所提出的Arc损失函数进行模型训练，所述Arc损失函数的计算公式为：

约束条件为：

其中：

m为训练图像样本的个数；

x_i为第i个图像中所提取的特征向量；

y_i为第i个图像的已知类别；

W_j为第j类别的权重；

θ_j为权重W_j和特征向量x_i之间的夹角；

s为特征归一化时的缩放参数。