[发明专利]一种基于对齐变分自编码器与三元组结合的零样本学习方法

说明书

一种基于对齐变分自编码器与三元组结合的零样本学习方法，输入已知类别图像特征及其对应选取的正样本和负样本组成的三元组到图像特征变分自编码器，输入已知类别图像对应的属性特征到属性变分自编码器；通过重建损失、参数对齐损失、交叉重建损失和三元组损失四种损失函数对自编码器进行优化学习；由编码器编码后获取图像特征和属性的潜在空间特征，并在潜在空间训练一个分类器。利用训练好的分类器对测试集数据进行测试。本方法能够为未知类别生成高质量潜在空间特征，弥补了零样本学习在训练过程中缺失未知类别训练样本的问题，并且能够更加紧密地联系视觉特征和语义特征，使得模型更具鲁棒性，分类精度明显提高。

技术领域

本发明属于零样本图像分类技术领域，具体涉及一种基于对齐变分自编码器与三元组结合的零样本学习方法。

背景技术

深度学习已经在各个领域取得了广泛的应用，例如在图像分类问题下，其准确率目前可以达到不错的成绩，但其高准确率建立在有监督的基础上。大多数深度模型是通过大量有标签的训练样本进行学习，侧重于对已经在训练过程中出现过的标签类别样本进行分类。然而，现实的对象类别通常遵循长尾分布，其中一些类别有丰富的训练样本，而其他大部分类别只有很少甚至没有可用的训练样本。当需要模型对这些训练样本很少甚至没有训练样本的类别进行分类时，原有训练方法不再适用。另外，为数据进行标注的成本非常大。所以零样本学习的研究具有重要的意义。零样本学习的训练集和测试集之间没有交集，训练期间需要借助辅助信息，如属性，来建立训练集和测试集之间的联系，从而使得模型有效。传统零样本学习和广义零样本学习的训练集都只包括已知类别。传统零样本学习的测试集只包括未知类别，而广义零样本学习测试集包括已知类别和未知类别。

目前零样本学习方法主要分为两大类：基于空间嵌入的方法和基于生成模型的方法。基于空间嵌入的方法可以分为三类，第一类为将视觉特征嵌入到语义空间，如SAE方法(Elyor Kodirov,Tao Xiang,and Shaogang Gong.Semantic autoencoder for zero-shotlearning.In CVPR, 2017)，第二类为将语义特征嵌入到视觉空间，如UVDS方法 (Y.Long,L.Liu,L.Shao,F.Shen,G.Ding,and J.Han.From zero-shot learning to conventionalsupervised classification:Unseen visual data synthesis.In CVPR,2017)，第三类为将视觉特征和语义特征嵌入到公共空间，如SJE方法(Zeynep Akata,Scott Reed,DanielWalter,Honglak Lee,and Bernt Schiele.Evaluation of output embeddings forfinegrained image classification.In CVPR,2015)。基于空间嵌入的方法的主要目标是使用深度网络学习投影函数将视觉特征和语义特征映射到一个嵌入空间。在广义零样本学习设置中，基于空间嵌入的方法由于训练阶段缺乏未知类别的训练样本，测试时模型会倾向于将未知类别识别成已知类别，导致准确率降低。因此，基于生成模型的方法被提出，生成模型可以通过语义特征，如属性，为未知类别生成视觉特征用于训练，弥补了未知类训练数据缺失的问题。目前生成模型主要是基于变分自编码器和生成对抗网络的，如LisGAN(J.Li,M.Jing,K.Lu,Z. Ding,L.Zhu,and Z.Huang,Leveraging the invariant side ofgenerative zero-shot learning.In CVPR,2019)。然而，生成的特征与高质量特征仍有差距。

发明内容

为了解决上述问题，本发明提供了一种基于对齐变分自编码器与三元组结合的零样本学习方法，该方法将图像特征变分自编码器和属性变分自编码器作为骨干网络，将他们进行对齐，并与三元组结合，构建一个完整的模型。