[发明专利]一种基于语言的深度学习训练集图像生成方法

权利要求书

1.一种基于语言的深度学习训练集图像生成方法，其特征在于所述方法具体过程为：获取待生成图像语言描述序列，并将待生成图像语言描述序列输入到训练好的图像生成系统中获得生成的图像；

所述图像生成系统包括：语言特征提取模块、图像生成模块；

所述语言特征提取模块用于将待生成图像语言序列描述转化为特征矩阵，然后利用LSTM网络提取待生成图像语言描序列的特征；

所述图像生成模块采用生成对抗网络GAN和VGG-19卷积神经网络，用于将语言特征提取模块提取的待生成图像语言描述序列特征转换为图像；

所述生成对抗网络GAN包括：生成器和判别器；

所述生成器用于将待生成图像语言描述序列特征生成目标图像然后将目标图像输入VGG-19卷积神经网络；

所述VGG-19卷积神经网络包括：5个stage、3个全链层和一个softmax分类层，用于提取生成器产生的图像的特征，然后将提取的图像特征输入判别器；

所述图像的特征用于优化LSTM网络的损失函数；

所述判别器用于判别语言描述序列特征是否与生成器生成的图像符合，如符合则输出生成器生成的图像，若不符合则重新训练生成对抗网络。

2.根据权利要求1所述的一种基于语言的深度学习训练集图像生成方法，其特征在于：所述生成对抗网络GAN的训练过程为：

将语言描述序列的真实图像的特征和生成器生成的伪图像特征输入判别器，判别器将与待生成图像的语言描述序列的特征相吻合的真实图像标注为1，生成器生成的伪图像数据或与语言描述的特征不相吻合的真实数据标注为0，以此为基准来不断的优化判别器，生成器则是对抗判别器，以不断生成能使判别器判断为1的图像数据为目标来不断地优化生成器，当生成器生成的图像被判别器标注为1的准确率达到预设阈值，则获得训练好的生成对抗网络GAN。

3.根据权利要求2所述的一种基于语言的深度学习训练集图像生成方法，其特征在于：所述所述语言特征提取模块用于将待生成图像语言序列描述转化为数字序列，再将数字序列转化为特征矩阵，然后利用LSTM网络提取待生成图像语言描序列的特征，包括以下步骤：

步骤一、获取待生成图像语言序列描述，并将待生成图像语言序列描述转化为数字序列；

步骤二、将步骤一获得的数字序列转化为特征矩阵；

步骤三、将特征矩阵输入LSTM网络，LSTM再将语言特征矩阵继续转化成1*2400的矩阵，所述1*2400的矩阵即为获取的待生成图像语言描述序列特征。

4.根据权利要求3所述的一种基于语言的深度学习训练集图像生成方法，其特征在于：所述生成器的训练过程中输入数据包括：随机的图像输入和来自于语言特征提取模块提取的待生成图像语言描序列的特征。

5.根据权利要求4所述的一种基于语言的深度学习训练集图像生成方法，其特征在于：所述判别器的输入数据，通过以下方式获得：

首先，将待生成图像语言描述序列特征1*2400的矩阵转化为1*128的矩阵，并将1*128的矩阵的参数与随机输入的图像的参数相叠加；

然后，将叠加后的参数通过转置卷积、Batch Normalization、relu计算获取一个64*64*3图像特征矩阵；

最后，获取64*64*3图像特征矩阵参数数据，所述64*64*3图像参数数据即是判别器的输入数据。

6.根据权利要求5所述的一种基于语言的深度学习训练集图像生成方法，其特征在于：所述将待生成图像语言描序列的特征包括：句子特征和单词特征。

7.根据权利要求6所述的一种基于语言的深度学习训练集图像生成方法，其特征在于：所述句子特征和单词特征的维度均为256维。

8.根据权利要求7所述的一种基于语言的深度学习训练集图像生成方法，其特征在于：所述将将待生成图像语言描述序列特征1*2400的矩阵转化为1*128的矩阵采用奇异值分解方法。

9.根据权利要求8所述的一种基于语言的深度学习训练集图像生成方法，其特征在于：所述随机输入的图像与1*128的矩阵维度相同。