[发明专利]基于谱归一化层级式生成对抗网络的文本生成图像方法

权利要求书

1.一种基于谱归一化层级式生成对抗网络的文本生成图像方法，其特征在于，包括两个阶段：

第一阶段：将文本输入至生成对抗网络中，通过条件增强模型进行处理，将处理后的与文本相对应的文本特征向量与噪声向量进行拼接，并输入至生成器网络中进行处理，得到第一图像；将得到的第一图像输入至判别器网络中进行下采样处理，得到第一图像相对应的张量，将第一图像相对应的张量和文本特征向量进行拼接，生成低分辨率图像；

第二阶段：将第一阶段中的文本特征向量通过条件增强模型进行处理，得到处理后的文本特征向量；将第一阶段中生成的低分辨率图像经过下采样处理，得到低分辨率图像相对应的张量，将低分辨率图像相对应的张量与降维后的文本特征向量进行拼接，并输入至生成器网络中进行处理，得到第二图像；将得到的第二图像输入至判别器网络中进行处理，生成高分辨率图像；

所述第一阶段和第二阶段中的判别器网络为加入谱归一化的判别器网络，具体为：

采用谱归一化约束判别器网络的Lipschitz常数，其中，谱归一化的Lipschitz常数，表示为：

其中，f(x)表示实数集上的函数；x与x′表示定义域内的两个不相等实数；M表示常数；

令则||f||_Lip＝sup_xσ(▽f(x))；

其中，σ(A)表示矩阵A的谱范数：

将判别器网络的每一层g，h作为输入，则g(h)＝Wh，表示为：

||g||_Lip＝sup_hσ(▽g(h))＝sup_hσ(W)＝σ(w)

而在判别器网络f(x)＝W^L+1a_L(W^L(a_L-1(W^L-1(…a₁(W¹x)…))))中，基于||g₁·g₂||≤||g₁||_Lip·||g₂||_Lip得到：

其中，W表示判别器网络的参数矩阵；L表示网络层数；

将判别器的每层网络的Lipschitz常数限制为1，即‖g‖_Lip＝1，就需要σ(W)＝1，得到谱归一化的计算公式为：

其中，W_sn表示判别器网络各层的谱归一化值；

所述第一阶段和第二阶段中的生成器网络为加入感知损失函数的生成器网络，具体为：

将感知损失函数加入生成器网络的判别损失中，其中感知损失函数表示为：

其中，L_per表示感知损失函数；表示VGG-16网络第i层的激活函数；I表示真实图像，I′表示生成图像；C_i×H_i×W_i表示特征图的维度；

所述第一阶段中将第一图像相对应的张量和文本特征向量进行拼接之后还包括经过三个平行的卷积层得到概率分布；

所述判别器网络中的每一层卷积层后都加一层谱归一化，将每层网络梯度限制在固定范围内；

所述生成对抗网络的损失函数表示为：

其中，D表示判别器；G表示生成器；D(x)、D(G(z))分别表示判别器判定图像真实度的分值；G(z)表示生成器输出的假图像；x表示真实数据集的图像；z表示随机噪声；y表示附加信息。

2.根据权利要求1所述的一种基于谱归一化层级式生成对抗网络的文本生成图像方法，其特征在于，所述第一阶段和第二阶段中通过条件增强模型进行处理是将输入的高维条件变量进行降维处理。

3.根据权利要求1所述的一种基于谱归一化层级式生成对抗网络的文本生成图像方法，其特征在于，所述生成对抗网络为条件生成对抗网络。