[发明专利]一种结合皮尔逊重构的文本到图像生成方法

摘要

本发明公开了一种结合皮尔逊重构的文本到图像生成方法，其特征在于，包括如下步骤：1）数据预处理；2）建立图像生成模型；3）条件融合；4）特征向量生成；5）判别器判别；6）多尺度联合损失；7）网络训练；8）图像生成。该方法能重构判别器的输出，获得与网络的输入线性相关的特征向量，同时限制判别器的判别能力，使得生成器训练时更容易收敛并提高生成样本的质量和多样性。

主权项

1.一种结合皮尔逊重构的文本到图像生成方法，其特征在于，包括如下步骤：1)数据预处理：对原始图像中的目标物体进行标记,利用标记好的边界框对输入的原始图像进行裁剪，使得目标物体的边界框的对象‑图像大小比大于0.75，并为每张图像提供十个文本描述，将文本描述编码为句嵌入向量再对裁剪图像进行缩放，得到多尺度的训练集x_i；2)建立图像生成模型：图像生成模型为堆叠式的条件生成对抗网络，条件生成对抗网络由生成器和判别器组成，堆叠式条件生成对抗网络由多对不同尺度的生成器和判别器组成，生成器之间共享权值，判别器分别独立；3)条件融合：采用重参数技术将步骤1)中所述句嵌入向量转换为低维条件向量c，采用随机高斯向量z与条件向量c进行维度相加得到组合向量y，将组合向量y作为首个生成器G₀的输入，其他生成器都需额外加入条件向量c；4)特征向量生成：将步骤3)得到的组合向量y输入生成器，得到不同尺度的生成图像s_i，并将不同尺度生成图像s_i输入对应尺度判别器D_i中，在判别器D_i中额外加入步骤3)得到的条件向量c得到不同尺度生成图像s_i的特征向量5)判别器判别：依据最大化皮尔逊相关系数方法将步骤4)生成的特征向量与步骤3)中得到的组合向量y进行皮尔逊重构，分离出特征向量的均值自由度，采用特征向量的均值进行判别；6)多尺度联合损失：将步骤4)得到的不同尺度生成图像s_i的特征向量分别与步骤3)得到的组合向量y分别进行皮尔逊重构，并将重构损失分别加入不同尺度判别损失和生成损失中；7)网络训练：将步骤4)得到的不同尺度生成图像s_i和步骤1)得到的多尺度训练集x_i分别作为负样本和正样本对对应尺度的判别器进行训练，采用不同尺度生成图像经过判别器计算得到的误差梯度对生成器进行训练；8)图像生成：将随机高斯噪声向量z与步骤1)中所述句嵌入向量c输入到步骤2)中的图像生成模型即堆叠式的条件生成对抗网络中，得到不同尺度的生成图像。