[发明专利]一种基于反馈调节提高生成对抗网络稳定性的方法

说明书

本发明公开一种基于反馈调节提高生成对抗网络稳定性的方法。该方法是自适应的调整D网络和G网络在每一次迭代中的更新次数。与在迭代中，D网络和G网络更新次数固定的传统方法相比更具有稳定性。本发明由于将稳定性着眼于更新次数，方法简单易于实现，对使用传统方法的工程无需重新构造，向下兼容，能够节省大量人力。并且可以与其它提高稳定性的方法相结合，进一步提高GAN网络稳定性。

技术领域

本发明属于深度学习领域，涉及一种基于反馈调节提高生成对抗网络稳定性的方法。

背景技术

生成对抗网络(GAN)是属于生成学习中的一种网络结构。生成对抗网络是由判别网络(D网络)和生成网络(G网络)这两个网络组成。G网络和D网络通过对抗训练的方式更新权值。GAN需要交替训练G网络和D网络，两个网络会相互影响，这导致了GAN的稳定性不足。

针对GAN稳定性不足的现有改进方案多为对网络结构的改变，而对网络的训练方式没有任何改变。传统的生成对抗网络的训练方式是由人工经验调节在每一批数据迭代中G网络和D网络的权值更新次数。该方式不带反馈，无法达到自适应的平衡，无法保持训练的稳定性。在训练的不同阶段根据两个网络的当前优化程度，动态调节G网络和D网络的权值更新次数，作为一种新的思路，能够提高GAN网络的稳定性。并且该方法能够与传统方法相结合。若与传统方法相结合，能更好提高网络的稳定性。

发明内容

本发明针对现有技术的不足，提供一种基于反馈调节的生成对抗网络参数更新方法，该方法从一个新的角度提高生成对抗网络的稳定性，并且该方法可以与传统方法结合使用。

步骤(1)、构建一对生成对抗网络。

1.1生成对抗网络的构建

生成对抗网络包含一个生成网络(G网络)，一个判别网络(D网络)，其中生成网络输入噪声数据，输出生成数据；判别网络对输入数据输出判别结果，设置当输入数据为真实数据时判别结果为1，当输入数据为为生成数据时判别结果为0。所述的真实数据由所供给的数据集供给，所述的噪声数据由高斯噪声发生器产生。

步骤(2)、裁剪数据集中的数据到同一维度，并将真实数据和噪声数据进行分批。

2.1真实数据的裁剪

获取的数据集中每一份数据的维度可能不同，通过裁剪的方式，将每一份数据统一到相同的维度上，裁剪后的数据为所述的真实数据。

2.2对噪声数据和真实数据进行分批

由供给数据集裁剪得到的真实数据为n组，将n组数据平均分为k批。使每批数据中含有适当量的数据。(其中适当量的判别属于本领域技术人员的基础技能，一般适当量大于50小于200)。对应真实数据的分批方式，将噪声数据也分为k批，每批数据中的含有的数据组数量与真实数据每批中含有的数据组数量相同。

步骤(3)、将每次迭代中D网络和G网络的更新次数k_d和k_g初始值都设置为1。

步骤(4)、随机抽取1批真实数据和1批噪声数据，并开始迭代。

4.1随机抽取数据并迭代

从k批噪声数据中随机抽取1批噪声数据，并将噪声数据输入G网络中，输出1批生成数据。从k批真实数据中随机抽取1批真实数据，将抽取到的该批真实数据和生成的生成数据输入D网络。

步骤(5)、开始1次迭代并计算G网络和D网络的损失函数值err_g和err_d，以及其商e。

5.1生成对抗网络的损失函数

生成对抗网络中D网络和G网络的损失函数值为err_d和err_g，具体表示为：