[发明专利]一种基于双向架构对抗生成网络的由文字生成图片的方法

权利要求书

1.一种基于双向架构对抗生成网络的由文字生成图片的方法，其特征在于，该方法包括如下步骤：

步骤一、准备数据集，分为训练集和测试机；

步骤二、对数据集中的数据进行预处理；

步骤三、对训练集中的文本部分使用文本编码器提取出单词编码和句子编码；

步骤四、对训练集中的图像部分使用图像编码器提取出图像编码；

步骤五、对句子编码进行CA操作，得到Fca向量；

步骤六、将Fca向量与一段噪声进行拼接，再与单词编码、句子编码一起输入生成器，所述生成器的数量为三个，且上一个生成器的输出作为下一个生成器的输入，三个所述生成器的网络结构相同，但其中的网络层使用的参数不同，具体的网络结构由SEAttn层、卷积层、上采样层和SEBN层组成；

SEAttn层用公式表达为：Impi(sca，wi)＝σ(Wimp*concat(sca，wi))，其中σ表示sigmoid函数，W imp是一个1×(D+d)的矩阵，D是单词编码的维度，d是Fca向量的维度，sca是Fca向量，wi表示单词编码，concat表示拼接操作；w′i＝Impi*Mw(wi)+(1-Impi)*Ms(sca)，其中Mw(·)和Ms(·)代表一个1×1的卷积操作，分别用来提取单词编码和进行CA操作之后句子编码的特征至相同的维度空间，wi表示单词编码，sca是Fca向量；

SEBN层用公式表达为：γc＝fγ(concate(s，sca，z))，βc＝fβ(concate(s，sca，z))，其中concate代表连接拼接操作，s代表句子编码，sca是Fca向量，z是噪声；μ(x)为x的均值，σ(x)代表x的方差，fγ和fβ分别表示映射网络，βc和γc分别代表缩放尺度与偏移尺度；

步骤七、生成器输出生成图片；

步骤八、将生成图片和句子编码、Fca向量以及图像编码输入判别器；

步骤九、计算损失函数；

步骤十、优化损失函数，继续训练；

步骤十一、经过多次迭代计算，得到训练后的模型；

步骤十二、将测试集中的文字经过同样的文本特征提取工作，输入模型得到测试结果；

步骤十三、实验结果及评估。

2.根据权利要求1所述的一种基于双向架构对抗生成网络的由文字生成图片的方法，其特征在于：在步骤一中，数据集的划分是根据原数据集提供的划分。

3.根据权利要求1或2所述的一种基于双向架构对抗生成网络的由文字生成图片的方法，其特征在于：在步骤一中，所述数据集为CUB鸟类数据集和COCO数据集。

4.根据权利要求1所述的一种基于双向架构对抗生成网络的由文字生成图片的方法，其特征在于：在步骤二中，预处理具体包括：

构建词典，在词典中添加NULL；

构建文本向量，采用长度为18的一维向量，单词数不足18的句子在句末补NULL，单词数大于18的句子将随机进行选取18个单词，再将每个单词映射至其在词典中的下标；

预处理图片，采用随机翻转、裁剪，然后通过缩放得到64x64、128x128以及256x256的图片。

5.根据权利要求1所述的一种基于双向架构对抗生成网络的由文字生成图片的方法，其特征在于：在步骤三中，采用Attngan中文本编码部分的预训练模型作为文本编码器，其采用的是RNN网络，用公式表达为：

w,s＝RNN(Text)

其中w为单词编码，是一个D×L的矩阵，其中D代表维度，L代表单词个数即句子长度；s为句子编码，是一个长度为D的一维向量。

6.根据权利要求1所述的一种基于双向架构对抗生成网络的由文字生成图片的方法，其特征在于：在步骤五中，CA操作具体包括：

将句子编码通过两层全连接层；

使用一个独立的高斯分布N(μ(s),σ(s))对其进行重采样，用公式表达为：

Fca＝CA(s)

其中Fca是提取出来的d维的语义特征向量，s为句子编码，CA(s)代表对句子编码进行CA操作。