[发明专利]一种基于潜层特征生成的广义零样本图像分类方法

说明书

本发明属于零样本图像分类领域，具体为一种基于潜层特征生成的广义零样本图像分类方法。本发明通过将真实的图像特征和WGAN生成的图像特征映射到M‑VAE的潜层空间来进一步对齐它们的分布，并通过跨模态重构保留判别性语义信息。基本步骤为：首先使用seen类的图像特征和语义嵌入训练一个潜层特征生成模型；然后使用这个训练好的模型将seen类和unseen类的语义嵌入和图像特征转化为潜层特征。最后，使用这些潜层特征进行最终的Softmax分类器的训练和测试。本发明学习了一个有判别力的潜层空间，能以较小的潜层特征尺寸实现较高的精度。

技术领域

本发明属于零样本图像分类领域，具体涉及一种基于潜层特征生成的广义零样本图像分类方法。

背景技术

零样本图像分类的目标是识别不提供任何训练样本的unseen类，它假设所有测试样本仅来自unseen类。然而，在现实场景中，需要识别的目标即可能来自unseen类，也可能来自seen类，而不仅仅是来自于unseen类。与零样本图像分类相比，广义零样本图像分类是一种更符合现实也更具挑战性的设置。在GZSL中，测试样本既可以属于seen类，也可以属于unseen类。本发明重点解决广义零样本图像分类问题。

零样本图像分类技术可用于解决各种缺少训练样本的问题，具有重大研究意义和价值。它是通过seen类和unseen类共享的语义信息（例如：属性、词向量或文本描述）从seen类到unseen类迁移知识来实现的。早期的零样本图像分类方法首先建立一个嵌入模型来学习语义空间与视觉空间之间的跨模态映射，然后在一个共同的嵌入空间中执行最近邻搜索以预测类标签。具体来说，给定一张测试图像样本x，嵌入模型搜索具有最高兼容性得分的类语义嵌入，并返回其类标签，如下：

其中F表示嵌入模型，y表示类标签，c(y)表示类语义嵌入，w表示嵌入模型的参数。

近年来，由于能够利用语义嵌入生成unseen类的合成样本的能力，生成对抗网络和变分自动编码器等深度生成模型已广泛应用于解决零样本图像分类问题。由此而产生的特征生成方法将零样本图像分类看作一个unseen类样本缺失问题，首先使用seen类的图像特征和类特定的语义嵌入来学习一个特征生成模型，然后使用训练好的特征生成模型以类特定的语义嵌入为条件合成任意数量的unseen类特征，最后利用seen类的真实特征和unseen的合成特征来训练最终的广义零样本图像分类器（例如：Softmax分类器）。特征生成方法解决了seen类和unseen类之间的数据不平衡，将广义零样本图像分类转化为一个传统的监督学习任务。目前在零样本图像分类主流数据集上性能排名靠前的算法都基于深度生成模型。

发明内容

本发明的目的在于提供一种基于潜层特征生成的广义零样本图像分类方法，旨在解决GAN生成的样本分布与真实样本分布之间的偏移问题，包括设计一种合成特征样本数量少、维度低，因此训练时间短、效率高的潜层特征生成模型，并通过跨模态重构保留判别性语义信息，实现先进的广义零样本图像分类精度。

本发明提供的基于潜层特征生成的广义零样本图像分类方法，是基于潜层特征生成模型的；该模型由一个WGAN和一个多模态重构变分自动编码器（M-VAE）组成，它通过将真实的图像特征和WGAN生成的图像特征映射到多模态重构变分自动编码器（M-VAE）的潜层空间来进一步对齐它们的分布，并通过跨模态重构保留判别性语义信息。基本步骤为：

首先，使用seen类的图像特征和语义嵌入训练一个潜层特征生成模型；

然后，使用这个训练好的模型将seen类和unseen类的语义嵌入和图像特征转化为潜层特征；

最后，使用这些潜层特征进行最终的Softmax分类器的训练和测试。