[发明专利]基于生成式对抗网络的文本转换图像的方法及相关设备

说明书

本发明实施例提供一种基于生成式对抗网络的文本转换图像的方法及相关设备，所述方法包括以下步骤：获取一段图像的文本描述；将所述文本描述通过预设的第一编码器转化为多维向量编码；将所述多维向量编码与初始化的噪音向量进行拼接得到第一输入向量；将所述第一输入向量输入预设的第一生成网络，生成低分辨率图像；将所述低分辨率图像与所述多维向量编码进行融合，得到第二输入向量；将所述第二输入向量输入预设的第二生成网络，生成高分辨率图像；所述第一生成网络、第二生成网络为预训练好的网络。该方法算法简单易于实现，能生成较高分辨率和多样性的图像，有助于扩充数据集。

技术领域

本发明涉及人工智能领域，尤其涉及一种基于生成式对抗网络的文本转换图像的方法及相关设备。

背景技术

随着人工智能和深度学习领域的技术的发展，用于训练算法的数据集的需求也越来越庞大。然而庞大的数据的采集制作需要庞大的成本，使用计算机生成图像有助于数据库的扩充并且成本低下。目前生成图像的技术主要是基于生成式对抗网络的图像风格迁移方法。一些基于生成式对抗网络的图像迁移方法，例如cycleGAN，需要昂贵的配对数据集。而文本到图像转换方法优势是：成本低廉、操作简单，只需要文本描述和图像的配对数据集进行训练，而且在扩充数据集时只需要文本描述，就能生成多样的高分辨率的图像。例如训练好一个文本到图像的转化模型后，扩充数据集时只需将文本描述中的颜色、形状、背景等进行排列组合，就能生成多个图像数据。

从文本描述中合成高质量的图像是计算机视觉中一个具有挑战性的问题，并且有许多实际应用。由现有的文本到图像方法生成的样本可以大致反映给定描述的含义，但是它们没有包含必要的细节和生动的对象部分。

发明内容

本发明实施例提供一种基于生成式对抗网络的文本转换图像的方法，以解决上述技术问题。

第一方面，本发明实施例提供基于生成式对抗网络的文本转换图像的方法，其特征在于，包括以下步骤：

获取一段图像的文本描述；

将所述文本描述通过预设的第一编码器转化为多维向量编码；

将所述多维向量编码与初始化的噪音向量进行拼接得到第一输入向量；

将所述第一输入向量输入预设的第一生成网络，生成低分辨率图像；

将所述低分辨率图像与所述多维向量编码进行融合，得到第二输入向量；

将所述第二输入向量输入预设的第二生成网络，生成高分辨率图像；

所述第一生成网络、第二生成网络为预训练好的网络。

优选的，所述将所述低分辨率图像与所述多维向量编码进行融合，得到第二输入向量的步骤前还包括：

将第一生成网络生成的低分辨率图像与真实图像放入预设的第一判别网络进行判断真假，输出结果为真的低分辨率图像，所述第一判别网络为预训练好的网络；

所述将所述第二输入向量输入预设的第二生成网络，生成高分辨率图像的步骤之后还包括：

将第二生成网络生成的高分辨率图像输入到预设的第二判别网络进行判断真假，输出结果为真的高分辨率图像。

优选的，所述第一生成网络、第二生成网络的预训练使用生成式对抗网络的损失函数，采用反向传播算法，使用梯度下降优化参数。

优选的，所述第一生成网络、第二生成网络的结构相同，所述损失函数为：

其中真实图像和文本描述来自真实数据分布Pdata，是从给定分布随机采样的噪声向量，、分别为判别器、生成器，为基于所述文本描述的多维向量编码，通过最大化最小化来训练所述第一生成网络、第二生成网络。

优选的，所述梯度下降优化参数算法为Adam优化算法，学习率为0.001。