[发明专利]基于自编码对抗生成网络的零样本学习方法

说明书

一种基于自编码对抗生成网络的零样本学习方法，包括：输入可见类别样本的视觉特征，以及对应的类别语义特征；输入具体的平衡参数λ及α的数值；设定参数的初始值，学习率，利用Adam优化器训练本发明所提出的自编码对抗生成网络，得到编码器和解码器的模型参数；输入未见类别的语义特征，利用已训练好的模型参数合成对应类别的视觉特征；对未见类别的测试样本进行分类。本发明能够有效地对齐视觉模态和类别语义模态之间的语义关系。将视觉信息和类别语义信息充分的交融在一起，能够更有效地挖掘两种模态之间的语义关联，合成更有效地视觉特征。

技术领域

本发明涉及一种零样本学习方法。特别是涉及一种基于自编码对抗生成网络的零样本学习方法。

背景技术

深度学习技术的进步极大地促进了机器学习和计算机视觉领域的发展。然而这些技术大都局限于监督学习，即需要大量的标注样本训练模型。在现实中，样本标注是一件极其费力的工作。因此标注样本的缺失问题是影响当前机器学习发展的瓶颈之一，需要一种在完全缺失目标类别的视觉标注数据情况下仍然能够识别这些类别的技术，零样本学习正是这样的一类技术。

零样本学习是利用可见类别的数据，辅以一定的先验知识，对未见类别(无训练数据的类别)进行识别的技术。因此，零样本学习是解决样本缺失的一种有效手段。

当前实现零样本学习的基本思路是利用可见类别(有标注数据的训练类别)的样本数据以及样本对应的类别语义特征训练模型，并利用训练模型实现未见类别(没有标注数据的测试类别)样本的分类。当前针对如何训练样本数据和类别语义之间语义关系的模型主要分为两类：一类是基于判别的模型，另一类是基于生成的模型。基于判别的模型将零样本学习看作是一种特殊的多模态学习任务。具体为，样本数据的特征和类别语义特征是分布在不同模态空间中，判别模型的任务是学习一种模型将不同模态的特征映射到同一空间，以实现不同模态之间语义相似度的度量。尽管基于判别模型的方法在零样本学习中取得了较好的效果，但这类方法容易产生域偏移问题，即利用可见类别训练的模型容易在测试类别上发生偏移。近年来，为了解决零样本学习中未见类别样本缺失的问题，研究者们提出利用生成模型合成未见类别数据特征的方法。这类方法的基本思路是利用类别的语义特征或者利用由类别的语义特征及噪声组成的联合特征作为输入学习一个能够减小生成数据和真实数据分布之间差异的模型。然而这类模型大部分只关注类别语义到视觉特征之间的语义对齐关系而忽视了视觉特征到类别语义之间的关系，这弱化了不同模态之间的对齐关系。

发明内容

本发明所要解决的技术问题是，提供一种有效地合成未见类别的样本特征，同时有效地建立不同模态之间的语义交互关系的基于自编码对抗生成网络的零样本学习方法。

本发明所采用的技术方案是：一种基于自编码对抗生成网络的零样本学习方法，包括如下步骤：

1)将可见类别样本的视觉特征x输入到编码器中，在样本对应的类别语义特征a的监督下得到隐类别语义特征和隐噪声特征所述的编码器由三层网络构成；

2)将样本对应的类别语义特征a和真实的噪声特征z输入到解码器中，在样本的真实视觉特征的监督下得到合成的样本视觉特征解码器由三层网络构成；

3)将由隐类别语义特征和隐噪声特征组成的联合特征作为假数据，将由类别语义特征a和真实的噪声特征z组成的联合特征作为真数据，输入到类别语义判别器中，得到对应的得分，其中真数据的得分为1，假数据的得分为0；

4)将样本的视觉特征x作为真数据，合成的视觉特征作为假数据，输入到视觉判别器中，得到对应的得分，其中真数据的得分为1，假数据的得分为0；

5)根据步骤1)和步骤2)建立自编码器的目标函数：

其中E，G分别是编码器，解码器；w，v分别是编码器和解码器对应的参数，是用于约束模型参数的正则项，表示二范数，λ表示所述正则项的平衡参数；