[发明专利]基于自编码对抗生成网络的零样本学习方法

摘要

一种基于自编码对抗生成网络的零样本学习方法，包括：输入可见类别样本的视觉特征，以及对应的类别语义特征；输入具体的平衡参数λ及α的数值；设定参数的初始值，学习率，利用Adam优化器训练本发明所提出的自编码对抗生成网络，得到编码器和解码器的模型参数；输入未见类别的语义特征，利用已训练好的模型参数合成对应类别的视觉特征；对未见类别的测试样本进行分类。本发明能够有效地对齐视觉模态和类别语义模态之间的语义关系。将视觉信息和类别语义信息充分的交融在一起，能够更有效地挖掘两种模态之间的语义关联，合成更有效地视觉特征。

主权项

1.一种基于自编码对抗生成网络的零样本学习方法，其特征在于，包括如下步骤：1)将可见类别样本的视觉特征x输入到编码器中，在样本对应的类别语义特征a的监督下得到隐类别语义特征和隐噪声特征所述的编码器由三层网络构成；2)将样本对应的类别语义特征a和真实的噪声特征z输入到解码器中，在样本的真实视觉特征的监督下得到合成的样本视觉特征解码器由三层网络构成；3)将由隐类别语义特征和隐噪声特征组成的联合特征作为假数据，将由类别语义特征a和真实的噪声特征z组成的联合特征作为真数据，输入到类别语义判别器中，得到对应的得分，其中真数据的得分为1，假数据的得分为0；4)将样本的视觉特征x作为真数据，合成的视觉特征作为假数据，输入到视觉判别器中，得到对应的得分，其中真数据的得分为1，假数据的得分为0；5)根据步骤1)和步骤2)建立自编码器的目标函数：其中E，G分别是编码器，解码器；w，v分别是编码器和解码器对应的参数，是用于约束模型参数的正则项，表示二范数，λ表示所述正则项的平衡参数；6)根据步骤3)建立类别语义判别器的目标函数：其中D为语义判别器模型，表示真实的噪声特征z的期望，表示样本的视觉特征x的期望，σ表示逻辑函数，[·,·]表示连接函数，r表示语义判别器的参数；7)根据步骤4)建立视觉判别器的目标函数：其中D′表示视觉判别器模型，u表示视觉判别器的参数，所述目标函数的最后一项是Lipschitz约束，α是Lipschitz约束的平衡参数；8)给定正则项的平衡参数λ和Lipschitz约束的平衡参数α的具体值，利用Adam优化器对模型参数进行优化，得到模型参数的最优值；9)输入未见类别的语义特征at，利用已训练好的模型参数合成对应类别的视觉特征；10)对未见类别的测试样本进行分类。