[发明专利]基于生成对抗网络和动态编辑模块的根据文本编辑图片的方法

权利要求书

1.一种基于生成对抗网络和动态编辑模块的根据文本编辑图片的方法，其特征在于，主要包括以下步骤：

步骤(1)：获取训练数据集，其中每个样本都由文本和图像对组成；

步骤(2)：搭建生成对抗网络模型，所述生成对抗网络模型由生成器和判别器组成，其中生成器包括编码器、图片解码器和语义解码器；

步骤(3)：文本编码器将文本编码为向量输入给步骤(2)所述生成器和判别器；

步骤(4)：训练判别器，在训练过程中，需要对三类数据做出判断，分别是真实的图片和匹配的句子，生成的图片和匹配的句子，以及真实的图片与不匹配的句子；

步骤(5)：对判别器的零中心匹配梯度惩罚，促使生成的图片与给定的文本匹配；

步骤(6)：训练生成器，在训练过程中，提出了一个动态编辑模块来融合文本信息和图像特征；

步骤(7)：将训练好判别器和生成器的生成对抗网络模型用于根据文本编辑图像的任务。

2.根据权利要求1所述的一种基于生成对抗网络和动态编辑模块的根据文本编辑图片的方法，其特征在于：步骤(1)所述的数据集里，每一张图片对应一句或多句相应的文本描述，文本大致描述了图像中的对象与事件，每条文本的长度在5到40个单词之间。

3.根据权利要求1所述的一种基于生成对抗网络和动态编辑模块的根据文本编辑图片的方法，其特征在于：所述步骤(2)中，采用了一个由编码器和解码器的生成对抗网络，此网络在生成过程中，通过编码器降采样输入的图像，再通过解码器上采样编码的图像特征，文本信息在解码过程中融入到图像编码特征中。

4.根据权利要求1所述的一种基于生成对抗网络和动态编辑模块的根据文本编辑图片的方法，其特征在于：所述步骤(3)中，采用了一个已经预训练好的双向长短期记忆网络作为文本编码器，此网络在生成对抗网络的训练过程中不更新参数，输入文本经由双向长短期记忆网络编码为句子向量和单词向量，具体包括以下步骤：

31)首先，文本中每一个单词会转换成一个独热码，每一个单词对应一个独热码；

32)再将独热码输入给嵌入层，使得每一个单词对应一个单词向量；

33)将这些由单词向量组成的句子输入进双向长短期记忆网络，并将最后一个隐状态作为整个句子的句子向量，输入给生成器和判别器。

5.根据权利要求1所述的一种基于生成对抗网络和动态编辑模块的根据文本编辑图片的方法，其特征在于：所述步骤(4)中，真实的图片和匹配的句子作为正样本，判别器给予高分，而生成的图片和匹配的句子，以及真实的图片与不匹配的句子作为负样本，判别器给予低分；

采用铰链损失作为生成对抗网络的损失函数，为了控制正负样本的损失平衡，给两个负样本损失乘上1/2，判别器的损失函数表示为：

其中P_r是真实图像的分布，P_g是生成图像的分布，P_mis是与文本不匹配的图像的分布，x为输入图片，e为与输入图片x相匹配的句子向量，为随机选取的句子向量，D为判别器，G为生成器，E为期望；

通过联合判别以上三种图片与文本搭配的情况，最终判别器不仅能够区分生成的图片和真实的图片，也能够判断图片是否与文本匹配，从而促进生成器生成真实且与给定文本匹配的图片。

6.根据权利要求1所述的一种基于生成对抗网络和动态编辑模块的根据文本编辑图片的方法，其特征在于：所述步骤(5)中提出了零中心匹配梯度惩罚来约束判别器，在训练过程中，选择在匹配的句子和真实的图片的输入上进行梯度惩罚，判别器在该数据点的梯度接近于零，使得在判别器的损失函数曲面中，该数据点周围的损失曲面光滑，便于生成器收敛到目标位置，零中心匹配梯度惩罚表示为：

其中P_r是真实图像的分布，e为与输入图片x相匹配的句子向量，x为输入图片，D为判别器，E为期望，为梯度，k和p为超参数。