[发明专利]一种基于过渡空间映射的文本生成图像方法和系统

权利要求书

1.一种基于过渡空间映射的文本生成图像方法，包括以下步骤：

利用数据库中的图像和文本，训练由一个过渡空间映射网络和一个生成式对抗网络级联组成的文本生成图像模型；

对于用户输入的文本，利用训练完成的文本生成图像模型，生成与输入文本内容相符的图像；

所述文本生成图像模型中，过渡空间映射网络M能够结合随机噪声z将文本的特征表达映射到过渡空间，产生可解释性特征表达然后，将可解释性特征表达输入到生成式对抗网络中的生成器G中，通过生成器G的多层卷积层运算后，得到生成图像将生成图像数据库中的成对图像i、不成对图像i′与成对文本t一同输入至生成式对抗网络中的判别器D中，计算不同的对抗损失函数；

所述文本生成图像模型中训练的损失函数包括：

其中，Loss_D-VRAdv表示对应判别器的真实性对抗损失函数；Loss_D-CCAdv表示对应判别器的内容一致性对抗损失函数；Loss_G-Adv表示对应生成器的对抗损失函数；Ε表示期望值；i表示数据库中的成对图像，i′表示数据库中的不成对图像，t表示数据库中的成对文本，p_data表示真实数据的概率分布值，p_z表示随机噪声的概率分布值，表示判别器对输入的成对图像i与成对文本t的特征表达的预测值；表示判别器对输入的不成对图像i′与成对文本t的特征表达的预测值；

所述文本生成图像模型中训练的损失函数还包括一组三元互信息约束损失函数，其计算方式如下：

其中，Loss_Info-TI表示输入文本的特征表达与生成图像之间的互信息约束损失函数，Loss_Info-TS表示输入文本的特征表达与可解释性特征表达之间的互信息约束损失函数，Ε表示期望值，表示输入文本的特征表达的概率分布值，x表示服从生成图像数据分布的变量，“～”表示服从某一数据分布，表示输入文本的特征表达的信息熵，表示生成图像的观测模拟全连接层Q的输出，表示可解释性特征表达的观测模拟全连接层Q′的输出。

2.如权利要求1所述的方法，其特征在于，所述过渡空间映射网络包含多层全连接层；生成式对抗网络包含一个生成器与一个判别器，生成器以文本特征作为输入生成高分辨率的图像，判别器以图像作为输入判别其真实性和与输入文本向量之间的相关性。

3.如权利要求1所述的方法，其特征在于，通过组合各损失函数，提出针对判别器D的总损失函数，如下：

以及针对过渡空间映射网络M和生成器G的总损失函数，如下：

其中，λ₁表示互信息约束损失函数在针对判别器D的总损失函数中的权值，λ₂表示互信息约束损失函数在针对过渡空间映射网络M和生成器G的总损失函数中的权值；通过迭代地计算以上总损失函数的梯度，得到完成训练的模型。