[发明专利]基于谱归一化层级式生成对抗网络的文本生成图像方法

说明书

本发明公开了基于谱归一化层级式生成对抗网络的文本生成图像方法，包括：第一阶段：将文本输入至生成对抗网络中，通过条件增强模型后将文本相对应的文本特征向量与噪声向量进行拼接，并输入至生成器网络中进行处理，得到第一图像；将得到的第一图像输入至判别器网络中进行下采样处理，得到第一图像相对应的张量，将张量和文本特征向量进行拼接，生成低分辨率图像；第二阶段：将第一阶段中的文本特征向量通过条件增强模型进行处理后将文本特征向量与第一阶段中生成的低分辨率图像经过下采样处理的张量进行拼接，并输入至生成器网络中进行处理，得到第二图像；将得到的第二图像输入至判别器网络中进行处理，生成高分辨率图像。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及基于谱归一化层级式生成对抗网络的文本生成图像方法。

背景技术

近年来，深度学习技术在图像识别、分类以及图像去模糊等方面取得了突破性进展。文本生成图像是一项通过结合计算机视觉和自然语言的综合性交叉任务，是图像生成领域的重要分支，并且在很多方面都有着广泛的应用，如为文本配上对应的插图和辅助设计等。

文本生成图像是从一句描述性文本生成一张与文本内容相对应的图像，其最开始的主流方法是采用变分自动编码器(Variational Auto-Encoder,VAEs)和深度递归注意力作家(Deep Recurrent Attention Writer,DRAW)框架模型结构，在现有技术中提出的生成对抗网络(Generative Adversarial Networks,GANs)后，其简单有效的网络机制让文本生成图像这一任务有了更好的实现途径，各学者对于文本生产成本图像这一任务的研究取得一定的成就，其中一些文献中提出GAN-INT-CLS模型，首次使用具有判别意识的判别器以及使用流行插值的两种方案解决了生成图像多样化的问题以及提高了生成能力，但是无法合成高分辨率的图像；一些文献中提出了能更好地根据文本描述控制图像中物体具体位置的网络GAWWN。还有一些文献提出了一种层级式生成对抗网络(StackGAN)模型，把生成高质量图像的复杂问题分解成两个更好控制的子问题。在第一阶段利用文本描述粗略勾画物体的主要形状和颜色，生成64×64的低分辨率图像；在第二阶段，将第一阶段的结果和文本描述作为输入，生成256×256的高分辨率图像。然而，生成图像的过程还是存在训练不稳定、梯度消失等的问题。

发明内容

本发明的目的是针对现有技术的缺陷，提供了基于谱归一化层级式生成对抗网络的文本生成图像方法。

为了实现以上目的，本发明采用以下技术方案：

基于谱归一化层级式生成对抗网络的文本生成图像方法，包括两个阶段：

第一阶段：将文本输入至生成对抗网络中，通过条件增强模型进行处理，将处理后的与文本相对应的文本特征向量与噪声向量进行拼接，并输入至生成器网络中进行处理，得到第一图像；将得到的第一图像输入至判别器网络中进行下采样处理，得到第一图像相对应的张量，将第一图像相对应的张量和文本特征向量进行拼接，生成低分辨率图像；

第二阶段：将第一阶段中的文本特征向量通过条件增强模型进行处理，得到处理后的文本特征向量；将第一阶段中生成的低分辨率图像经过下采样处理，得到低分辨率图像相对应的张量，将低分辨率图像相对应的张量与降维后的文本特征向量进行拼接，并输入至生成器网络中进行处理，得到第二图像；将得到的第二图像输入至判别器网络中进行处理，生成高分辨率图像。

进一步的，所述第一阶段和第二阶段中的判别器网络为加入谱归一化的判别器网络，具体为：

采用谱归一化约束判别器网络的Lipschitz常数，其中，谱归一化的Lipschitz常数，表示为：

其中，f(x)表示实数集上的函数；x与x′表示定义域内的两个不相等实数；M表示常数；

令则