[发明专利]基于生成对抗网络的零样本图像分类方法

说明书

本发明公开了一种基于生成对抗网络的零样本图像分类方法，属于深度学习技术领域。包括获取图像数据集；对图像数据集进行预处理得到训练集和测试集；构建核心神经网络，并将训练集输入核心神经网络得到图片图像特征和视觉图像特征，核心神经网络包括卷积神经网络、生成对抗网络、重构网络和注意力网络；计算核心神经网络的损失函数，并对核心神经网络的参数进行调节；图片图像特征和视觉图像特征共同训练得到分类器；将测试集输入分类器进行分类。相较于现有技术，本发明通过在生成对抗网络中加入重构网络，使生成对抗网络生成的视觉图像特征更加多样化；在生成对抗网络中引入注意力网络，以减少视觉图像特征中的干扰信息，提高了分类准确度。

技术领域

本发明涉及一种基于生成对抗网络的零样本图像分类方法，属于深度学习领域。

背景技术

随着近几年深度学习的发展，深度学习在自然图像识别领域例如图像识别与分类、图像的文本描述以及图像分割等问题也都取得了突破性的进展，在对人脸、车牌号等特定的对象识别与分类方面表现的尤为突出。但算法的发展过程中也逐渐暴露出泛化能力差、所需训练数据大等缺点。而传统方法对图像分类需要大量的标签，训练数据过大则导致人工标注难度大，因此传统的方法无法对其进行分类。

Larochelle等于2008年提出了零样本学习这一概念。随着人们对基于机器学习的零样本学习产生的极大兴趣，零样本可以将已见类拓展到未见类而不需要额外的标签。零样本识别依赖于一个有标记的已见类，以及一个拥有语义信息描述的不可见类。传统的零样本方法主要是建立视觉空间和语义特征空间之间的映射函数，包括视觉空间到语义空间的映射，语义空间到视觉空间的映射，视觉空间和语义空间映射到一个共享的隐空间。但是由于视觉和语义之间的差异，相互映射会导致语义信息丢失。

近年来，由于深度网络的训练缺少注释样本，训练数据生成为了研究热点。生成性对抗网络特别有吸引力，因为它们允许生成真实而清晰的图像，例如，以对象类别为条件的图像。然而，它们还不能生成足够质量的图像来训练深度学习架构。

Xian等人提出了一种新的神经网络体系结构来直接生成神经网络特征，该特征可用于训练零镜头学习的判别分类器。结合强大的WGAN损失和使生成的特征具有区分性的分类损失，Xian等提出的GAN体系结构在很大程度上改进了原始GAN，并由于正则化而具有优于WGAN的优势。然而，原本的零样本图像分类方法的分类准确度较低，且生成对抗网络容易产生模式崩溃的问题，仅通过生成器和判别器之间相互对抗会使得最终生成的图像特征趋向单一化。

有鉴于此，确有必要提出一种基于生成对抗网络的零样本图像分类方法，以解决上述问题。

发明内容

本发明的目的在于提供一种基于生成对抗网络的零样本图像分类方法，该方法可以使生成对抗网络生成的图像特征更加多样化，避免图像特征趋于单一化，同时，通过引入注意力网络可以减少图像特征中的干扰信息，提高分类准确度。

为实现上述目的，本发明提供了一种基于生成对抗网络的零样本图像分类方法，包括以下步骤：

步骤1、获取图像数据集；

步骤2、对所述图像数据集进行预处理得到训练集和测试集；

步骤3、构建核心神经网络，并将所述训练集输入所述核心神经网络得到图片图像特征和视觉图像特征，所述核心神经网络包括卷积神经网络、生成对抗网络、重构网络和注意力网络；

步骤4、计算核心神经网络的损失函数，并对核心神经网络的参数进行调节；

步骤5、将图片图像特征和视觉图像特征输入分类器网络，并进行共同训练得到分类器；

步骤6、将测试集输入所述分类器，以实现对测试集进行分类。