[发明专利]生成图片的方法及装置、电子设备

说明书

本申请公开了一种生成图片的方法及装置、电子设备，该方法包括：响应于图片自动生成指令，获取输入的文本信息；将文本信息输入预先训练得到的文本联合生成模型，利用文本联合生成模型对文本信息进行特征提取，利用转换层预测与提取的文本特征关联度大于设定阈值的图像特征并输出；利用解码器对输出的图像特征进行图像重构并输出重构图像，在显示界面上输出显示所述重构图像。解决在用文本聊天的同时，网络中已有的表情图有时不能完全表达发言人的观点，无法根据说话人当时场景，动态生成表情图的问题。

技术领域

本发明涉及互联网技术领域，特别涉及一种生成图片的方法及装置、电子设备。

背景技术

随着网络聊天工具不断增多，网络聊天成为了人们生活中的日常之一。人们在用文本聊天的同时，越来越多的使用图片表达自己观点，例如使用微信中的第三方表情、网络中流传的经典表情图等。网络中已有的表情图有时候不能完全表达发言的人的观点。

发明内容

本申请的目的是提供一种生成图片的方法及装置、电子设备。用于解决人们在用文本聊天的同时，越来越多的使用图片表达自己观点，网络中已有的表情图有时候不能完全表达发言的人的观点，无法根据说话人当时的场景，动态生成表情图的问题。

第一方面，本申请实施例提供了一种生成图片的方法，所述方法包括：

响应于图片自动生成指令，获取输入的文本信息；

将所述文本信息输入预先训练得到的文本联合生成模型，利用所述文本联合生成模型对所述文本信息进行特征提取，利用转换层预测与提取的文本特征关联度大于设定阈值的图像特征并输出；

利用解码器对输出的图像特征进行图像重构并输出重构图像，在显示界面上输出显示所述重构图像。

在一些可能的实施例中，预先训练得到的文本联合生成模型包括：

获取训练样本，所述训练样本包括文本信息、图像及表征所述文本信息与图像关联度的关联度标签；

将所述文本信息和图像输入文本图像联合生成模型，利用特征提取层对所述文本信息特征提取得到文本特征，对所述图像特征提取得到图像特征；

利用转换层预测所提取的文本特征和图像特征的关联度并输出，及预测与提取的文本特征关联度大于设定阈值的图像特征并输出，利用解码器对输出的图像特征进行图像重构并输出，以转换层输出所述关联度标签、解码器输出所述训练样本中的图像信息为目标，进行文本图像联合生成模型参数调整。

在一些可能的实施例中，所述特征提取层包括编码器，所述利用特征提取层对所述图像特征提取得到图像特征，包括：

利用所述编码器对输入的图像进行特征提取，得到包括多个图像字的图像字矩阵，其中图像字为固定长度的向量；

获取训练样本之前还包括：

获取图像样本，将所述图像样本输入编码器；

利用所述编码器对图像样本进行特征提取，得到包括多个图像字的图像字矩阵并输入到解码器，利用所述解码器根据所述图像字矩阵进行图像重构，以解码器输出所述图像样本为目标进行所述编码器和解码器的参数调整。

在一些可能的实施例中，在编码器和解码器的训练过程中，还包括：

利用所述编码器得到图像字矩阵时，确定未出现在当前图像字矩阵字典中的目标图像字；

将所述目标图像字存储到图像字矩阵字典，所述图像字矩阵字典的图像字的数量不超过设定数量。

在一些可能的实施例中，将所述目标图像字存储到图像字矩阵字典，包括：

利用记忆模块结合所述目标图像字及图像字矩阵字典的图像字进行聚类；