[发明专利]一种基于文本语义的细节保持图像生成方法及系统

权利要求书

1.一种基于文本语义的细节保持图像生成方法，其特征在于，包括：

获取文本信息；

提取文本信息的文本特征、句子特征和单词特征；

将文本特征、句子特征和单词特征输入训练好的图像生成对抗网络中，输出文本图像；

其中，图像生成对抗网络中的生成网络包括多阶段图像特征转换网络，在每一阶段网络中添加细节优化模块，细节优化模块对每一阶段网络的隐藏特征进行优化，输出隐藏的视觉特征，隐藏的视觉特征输入生成器中，输出合成图像，除最后一阶段外的其余阶段网络的细节优化模块输出的隐藏的视觉特征还与单词特征一起输入混合注意力模块中，输出注意力单词语境特征，注意力单词语境特征与当前阶段网络生成的隐藏特征连接后输入下一阶段网络中；

最后一阶段网络中的细节优化模块为细节修正模块，细节修正模块的输入为单词特征、文本特征和当前阶段网络的隐藏特征，输出为隐藏的视觉特征。

2.如权利要求1所述的基于文本语义的细节保持图像生成方法，其特征在于，将文本信息输入引入注意力机制的长短时记忆神经网络中，获取文本特征、句子特征和单词特征。

3.如权利要求1所述的基于文本语义的细节保持图像生成方法，其特征在于，图像生成对抗网络中的判别网络采用图像编码器从生成网络输出的合成图像中提取图像子区域，基于深度注意力多态相似模型计算图像编码器生成的图像子区域和从文本句子中提取的单词特征的相似度。

4.如权利要求3所述的基于文本语义的细节保持图像生成方法，其特征在于，深度注意力多态相似模型将图像编码器提取的图像子区域和文本句子的单词特征映射到公共语义空间，从而在单词级别测量图像-文本相似度。

5.如权利要求1所述的基于文本语义的细节保持图像生成方法，其特征在于，除最后一阶段外的其余阶段网络中的细节优化模块为细节增强模块，细节增强模块的输入为文本特征和当前阶段网络的隐藏特征，输出为隐藏的视觉特征。

6.如权利要求1所述的基于文本语义的细节保持图像生成方法，其特征在于，生成网络的第一阶段网络的输入为增强后的句子特征。

7.一种基于文本语义的细节保持图像生成系统，其特征在于，包括：

文本信息获取模块，用于获取文本信息；

特征提取模块，用于提取文本信息的文本特征、句子特征和单词特征；

文本图像获取模块，用于将文本特征、句子特征和单词特征输入训练好的图像生成对抗网络中，输出文本图像；

其中，图像生成对抗网络中的生成网络包括多阶段图像特征转换网络，在每一阶段网络中添加细节优化模块，细节优化模块对每一阶段网络的隐藏特征进行优化，输出隐藏的视觉特征，隐藏的视觉特征输入生成器中，输出合成图像，除最后一阶段外的其余阶段网络的细节优化模块输出的隐藏的视觉特征还与单词特征一起输入混合注意力模块中，输出注意力单词语境特征，注意力单词语境特征与当前阶段网络生成的隐藏特征连接后输入下一阶段网络中；

最后一阶段网络中的细节优化模块为细节修正模块，细节修正模块的输入为单词特征、文本特征和当前阶段网络的隐藏特征，输出为隐藏的视觉特征。

8.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-6任一项所述的一种基于文本语义的细节保持图像生成方法的步骤。

9.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-6任一项所述的一种基于文本语义的细节保持图像生成方法的步骤。