[发明专利]一种基于判别器共享的生成对抗网络组织结构及其训练方法

说明书

本发明提出一种基于判别器共享的生成对抗网络组织结构及其训练方法，该结构包含一个判别器和多个生成器，任意生成器均可与判别器组成GAN结构。本发明充分理解GAN网络学习提升的原理，通过从其它角度引入具有相同生成目标的生成器，补充加强了生成数据的分布完整性。通过判别器吸收多个生成器的生成数据特征，使得判别器的判别能力得到了更全面的提升；进而使得生成器学到了更多的判别原则，间接从判别器的反馈中获得了其它生成器的知识，更好地提升生成数据的逼真性。因此，相比于传统GAN，本发明可以更好地提升生成数据的逼真性和多样性。

技术领域

本发明涉及深度学习领域，具体为一种基于判别器共享的生成对抗网络组织结构及其训练方法，用于深度学习领域中的对抗样本生成与防御应用，也适用于其它判别器具有相同功能的深度学习数据生成应用的组合。

背景技术

随着大数据的出现和计算能力的快速提高，以深度学习为代表的人工智能技术得到了快速发展，它使得机器具备了感知能力，能够识别图像，听懂人类的语言。然而，人工智能追求的不仅仅是机器的感知能力，更希望机器获得创造能力，因此学术界对于生成模型的研究迅速发展起来，它使机器具有了想象力，学会了创造。根据概率统计理论，生成模型是指能够在给定隐含参数的条件下，随机生成观测数据的模型，它给观测值和标注数据序列(x,y)指定一个联合概率分布。在深度学习领域，生成模型通过神经网络的形式实现，可以用来对观测数据建模，根据训练用的观测数据学习并掌握观测数据的特点，并根据学习到的特点生成特定分布(模仿观测数据)的输出数据。根据是否可以完全表示出数据的分布函数，可以将生成模型分为直接型和间接型两类，本专利关注的GAN(生成对抗网络)属于间接型生成模型。

尽管生成模型仅仅是模仿观测数据生成相似的模仿数据，但是在科学界和工业界有广泛的应用。生成模型可以用于高维度概率分布处理、超高解析度成像、艺术创作、图像风格迁移、文字到图像转换、强化学习中的未来推演、训练数据强化等，不仅适用于工业和学术领域，还能在消费市场产生价值，因此具有重要的研究意义。

传统形式的生成模型采用单个神经网络(简易的人脑模拟数学模型)，通过模拟人脑思考方式，来进行数据生成。然而，传统生成数据的效果并不理性，需要不断对神经网络的结构和参数进行优化，需要大量的训练数据集，而且最终的优化结果不一定令人满意。因此，学者Ian Goodfellow产生了一个新思路，他采用两个神经网络，通过两个网络的博弈与对抗，使得两个网络都可以快速高效的学习到目标任务，进而提出了基于GAN结构的生成模型(简称GAN模型)。GAN模型因其可并行性、函数约束少、数据生成效果好等优势成为当下热门的人工智能技术之一，被《麻省理工科技评论》评为2018年全球“十大突破性技术”。

GAN模型的核心思想是两个神经网络的博弈，两个神经网络都可以表示为参数控制的可微分函数，一个神经网络称为生成器，它尝试生成与目标数据集同分布(设目标数据分布为p_data)的数据样本；另一个神经网络称为判别器，它负责判断输入数据的真假，即判断数据是来自目标数据集还是生成器。其中判别器采用传统的监督学习技术进行学习分辨输入的真假，生成器则通过判别器的反馈学习如何欺骗判别器让它难分真假。当两者通过学习都获得了足够强的能力时，两者的博弈达到Nash平衡(Nash equilibrium)，此时判别器无法分辨数据真假。