[发明专利]一种基于生成对抗网络的文本到图像生成方法

权利要求书

1.一种基于生成对抗网络的文本到图像生成方法，其特征在于，包括以下步骤：

1）向网络中输入一段文本描述，根据文本描述生成单词特征矩阵和句子特征向量；

2）向句子特征向量添加条件和噪声向量，获得图像特征矩阵；

3）计算图像特征的单词上下文矩阵；

4）利用图像特征矩阵和单词上下文矩阵在生成对抗网络中进行计算，分三个阶段逐步生成越来越高分辨率的图像；

5）根据生成的图像获取本地图像特征矩阵；

6）评估生成图像和文本描述的相似度，优化下一次图像生成；

所述步骤4），具体如下：

4.1）将图像特征矩阵输入第一层生成对抗网络中，得到一次优化后的图像特征矩阵，对其进行3x3卷积输出64*64分辨率的图像；

4.2）将一次优化后的图像特征矩阵和单词上下文矩阵输入第二层生成对抗网络中，得到二次优化后的图像特征矩阵，对其进行3x3卷积输出128*128分辨率的图像；

4.3）对图像特征矩阵添加注意力机制，加强图像的重点子区域，削弱图像的不重要区域，再利用步骤3）更新单词上下文矩阵；

4.4）将二次优化后的图像特征矩阵和更新后的单词上下文矩阵输入第三层生成对抗网络中，得到最终的图像特征矩阵，对其进行3x3卷积输出256*256分辨率的图像。

2.根据权利要求1所述基于生成对抗网络的文本到图像生成方法，其特征在于，步骤1）中，所述文本描述是对一个以上对象的属性进行的描述，通过一个双向长短期记忆网络，将文本描述中每个单词相对应的两个隐藏状态串联起来，以表示单词的语义；所述属性包括种类、大小、数量、形状、位置；所述两个隐藏状态，最后一个隐藏状态所连接得到的是全局句子向量，其余隐藏状态串联得到的是单词特征矩阵。

3.根据权利要求1所述基于生成对抗网络的文本到图像生成方法，其特征在于，所述步骤2），具体如下：

2.1）向句子特征向量添加条件形成条件增强，以增强训练数据和避免过度拟合；

2.2）对条件增强拼接从标准正态分布采样的噪声向量，获得图像特征矩阵。

4.根据权利要求1所述基于生成对抗网络的文本到图像生成方法，其特征在于，步骤3）中，所述图像特征的单词上下文矩阵是利用步骤2）得到的图像特征矩阵和步骤1）得到的单词特征矩阵计算得到，所述图像特征的单词上下文矩阵的每一列表示与图像的一个子区域相关联的单词上下文向量。

5.根据权利要求4所述基于生成对抗网络的文本到图像生成方法，其特征在于，所述图像特征的单词上下文矩阵是利用步骤2）得到的图像特征矩阵和步骤1）得到的单词特征矩阵计算得到，具体为：

首先通过添加新的感知器层将单词特征转换为图像特征的公共语义空间；

然后计算图像的第j个子区域对应第i个单词的权重：其通过第j列图像特征向量和第i列单词特征向量乘积的归一化计算得到；

之后通过计算每个单词及与其对应的图像子区域的权重的乘积和，得到一个图像子区域的单词上下文向量；单词特征矩阵的每一个列向量对应着一个图像子区域的单词上下文向量。

6.根据权利要求1所述基于生成对抗网络的文本到图像生成方法，其特征在于，步骤5）中，所述根据生成的图像获取本地图像特征矩阵，是通过图像编码器完成的；图像编码器是利用在ImageNet数据集上预先训练好的Inception-v3模型，图像编码器本质上是一个卷积神经网络。

7.根据权利要求1所述基于生成对抗网络的文本到图像生成方法，其特征在于，步骤6）中，所述评估生成图像和文本描述的相似度的具体过程如下：

6.1）对本地图像特征矩阵添加注意力机制，加强图像的重点子区域，削弱图像的不重要区域；

6.2）计算优化后的本地图像特征矩阵和单词特征矩阵的余弦相似性，用来评估文本描述与生成图像的相似度，以辅助生成对抗网络中生成器的优化。