[发明专利]基于高效通道注意力机制的StackGAN++图像生成方法

说明书

本发明提出一种基于高效通道注意力机制的StackGAN++图像生成方法。本发明在StackGAN++生成器的每一个残差块后都引入一个高效通道注意力模块，以此来构建一个能生成具有细节感和现实感的高分辨率图像的图像生成算法。本发明步骤如下：1.图像预处理；2.基于高效通道注意力机制的StackGAN++模型的图像生成；3.算法性能比较。本发明提出基于高效通道注意力机制的StackGAN++图像生成模型，并且有效提升了生成图像的清晰度和细节感。针对StackGAN++生成图像的细节和纹理方面不足的问题，通过往StackGAN++模型中引入高效通道注意力机制，增强对图像中细节的关注，提高生成局部纹理的能力。

技术领域

本发明提出了一种基于高效通道注意力机制的StackGAN++图像生成方法。针对StackGAN++生成图像的细节和纹理方面不足的问题，通过往StackGAN++模型中引入高效通道注意力机制，增强对图像中细节和对象纹理的关注，以此来构建一个能生成具有细节感和真实感的高分辨率图像的图像生成算法。

背景技术

文本到图像合成是指以关键字或句子的形式，将人类书面文字描述翻译为与文本语义相似的图像的计算方法。在早期的研究中，图像生成主要依靠从词汇到图像的关系分析，这种关系分析结合了监督方法，来寻找视觉内容与文本匹配的最佳配对。深度学习(Deep Learning)的最新进展带来了一套新的无监督深度学习方法，特别是深度生成模型，它们能够使用适当训练的神经网络模型生成真实的视觉图像，如像素递归神经网络(Pixelrecurrent neural networks,PixelRNN)，变分自编码器(Variational Auto-Encoder,VAE)和生成对抗网络(Generative Adversarial Networks,GANs)。其中，GANs具有颠覆性的网络结构，后续的许多生成模型研究都以GANs为基础架构。然而，GANs对超参数敏感且训练不稳定，容易出现模式崩溃。

针对GANs难以训练的问题，研究人员试图通过提出新的网络结构、引入启发式技巧或修改学习目标，来稳定GANs的训练过程并提高生成图像的质量和多样性。深度卷积生成对抗网络(Deep Convolutional Generative Adversarial Networks,DCGANs)提出了一系列明确的体系结构约束，在各种图像数据集上进行训练时表现出了较好的稳定性。模式正则化生成对抗网络提出了度量正则化器和模式正则化器，缓解了GANs训练中的模式缺失问题并改善了生成样本的多样性。但这些方法大多是在单一的尺度下近似图像分布，由于直接逼近高分辨率图像数据分布的困难，这些方法大多局限于生成低分辨率图像。实际上，自然图像可以在不同的尺度上建模。堆叠式生成对抗网络(StackGAN++)将困难的生成任务分解为具有渐进目标的子任务，采用从低维到高维的多尺度并行训练结构，可以稳定地训练生成对抗网络并生成清晰的高分辨率图像。

虽然上述生成模型已经可以生成清晰逼真的、甚至是高分辨率的图像，然而仍然存在生成图像的细节和纹理方面不够理想的问题。例如，当利用StackGAN++模型在CUB-200-2011数据集上生成鸟类图像时，图像中的鸟可能会存在具有两个鸟头、缺少鸟腿或羽毛纹理不清晰等问题。

发明内容

本发明的目的是针对现有技术的不足，提供一种基于高效通道注意力机制的StackGAN++图像生成方法。

本发明提出的网络结构用数据集CUB-200-2011进行训练和测试。CUB-200-2011数据集是加州理工学院于2011年发布的细粒度数据集，涵盖200种鸟类，共计11788张图片，每张图片提供10条文本描述，其中训练样本有8855张，测试样本有2933张。