[发明专利]生成图片的方法及装置、电子设备

权利要求书

1.一种生成图片的方法，其特征在于，所述方法包括：

响应于图片自动生成指令，获取输入的文本信息；

将所述文本信息输入预先训练得到的文本联合生成模型，利用所述文本联合生成模型对所述文本信息进行特征提取，利用转换层预测与提取的文本特征关联度大于设定阈值的图像特征并输出；

利用解码器对输出的图像特征进行图像重构并输出重构图像，在显示界面上输出显示所述重构图像。

2.根据权利要求1所述的方法，其特征在于，预先训练得到的文本联合生成模型包括：

获取训练样本，所述训练样本包括文本信息、图像及表征所述文本信息与图像关联度的关联度标签；

将所述文本信息和图像输入文本图像联合生成模型，利用特征提取层对所述文本信息特征提取得到文本特征，对所述图像特征提取得到图像特征；

利用转换层预测所提取的文本特征和图像特征的关联度并输出，及预测与提取的文本特征关联度大于设定阈值的图像特征并输出，利用解码器对输出的图像特征进行图像重构并输出，以转换层输出所述关联度标签、解码器输出所述训练样本中的图像信息为目标，进行文本图像联合生成模型参数调整。

3.根据权利要求2所述的方法，其特征在于，所述特征提取层包括编码器，所述利用特征提取层对所述图像特征提取得到图像特征，包括：

利用所述编码器对输入的图像进行特征提取，得到包括多个图像字的图像字矩阵，其中图像字为固定长度的向量；

获取训练样本之前还包括：

获取图像样本，将所述图像样本输入编码器；

利用所述编码器对图像样本进行特征提取，得到包括多个图像字的图像字矩阵并输入到解码器，利用所述解码器根据所述图像字矩阵进行图像重构，以解码器输出所述图像样本为目标进行所述编码器和解码器的参数调整。

4.根据权利要求3所述的方法，其特征在于，在编码器和解码器的训练过程中，还包括：

利用所述编码器得到图像字矩阵时，确定未出现在当前图像字矩阵字典中的目标图像字；

将所述目标图像字存储到图像字矩阵字典，所述图像字矩阵字典的图像字的数量不超过设定数量。

5.根据权利要求4所述的方法，其特征在于，将所述目标图像字存储到图像字矩阵字典，包括：

利用记忆模块结合所述目标图像字及图像字矩阵字典的图像字进行聚类；

确定当前处于第一训练阶段，将所述目标图像字存储到图像字矩阵字典且图像字数量超过设定数量，按照存储时间从早到晚或者根据聚类数量及图像字相似度进行图像字删除，至将图像字矩阵字典后的图像字数量达到设定数量；

确定当前处于第二训练阶段，将所述目标图像字存储到图像字矩阵字典且判定图像字数量超过设定数量，并按照同一聚类中图像字从少到多的顺序，删除相应聚类中的图像字，至将图像字矩阵字典后的图像字数量达到设定数量。

6.根据权利要求3所述的方法，其特征在于，在文本图像联合生成模型训练之前，还包括：

对编码器和解码器训练结束后得到的解码器的参数进行重置，作为文本图像联合生成模型中初始训练时的编码器。

7.根据权利要求3所述的方法，其特征在于，在文本图像联合生成模型训练过程中，利用解码器对输出的图像特征进行图像重构之前，还包括：

对编码器输出的图像特征中的图像字，在当前图像字矩阵字典中查找与所述图像特征中各图像字相匹配的图像字；

将查到的相匹配的图像字输出到解码器。