[发明专利]一种引入类信息的文本生成图像方法及装置在审
申请号: | 202110071013.8 | 申请日: | 2021-01-19 |
公开(公告)号: | CN112765317A | 公开(公告)日: | 2021-05-07 |
发明(设计)人: | 周德宇;孙凯;胡名起 | 申请(专利权)人: | 东南大学 |
主分类号: | G06F16/33 | 分类号: | G06F16/33;G06F16/58;G06F40/289;G06F40/30;G06N3/04;G06N3/08;G06T3/40 |
代理公司: | 南京众联专利代理有限公司 32206 | 代理人: | 程洁 |
地址: | 210096 *** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 引入 信息 文本 生成 图像 方法 装置 | ||
1.一种引入类信息的文本生成图像方法及装置,其特征在于:所述方法包括如下步骤:
步骤1,对描述图像的自然语言文本进行编码,得到文本语义嵌入表示;
步骤2,将文本本身的类标签进行编码,得到类信息语义嵌入表示;
步骤3,将步骤1得到的文本语义嵌入表示与随机噪声进行混合,采用循环神经网络读取文本语义嵌入表示以及随机噪声,输出文本的对象隐编码;
步骤4,将步骤2得到的类信息语义嵌入表示与噪声进行混合,通过变分推断得到类信息的对象隐编码;
步骤5,将步骤3和步骤4得到的文本隐编码和类信息隐编码分别解码,得到文本级别的图像特征和类级别的图像特征;
步骤6,将步骤5得到的融合文本级别的图像特征和类级别的图像特征,解码生成图像;
步骤7,将步骤6得到的生成的图像与对应的真实图像进行对抗训练;
步骤8,将步骤5得到的图像特征分别进行上采样,得到不同维度的图像特征,重复步骤6-7,逐步生成分辨率更高的图像;
步骤9,在测试阶段,输入文本及其类标签,重复步骤1-6,在图像生成器中通过多阶段生成高分辨率的图像。
2.根据权利要求1所述的引入类信息的文本生成图像方法及装置,其特征在于:所述步骤1中,对描述图像的自然语言文本进行编码的方法为:对自然语言文本进行分词,得到长度为d的词序列p=(w1,w2,…wd),其中每个单词wi采用预训练的词向量进行表示,i=1~d,利用得到的词向量对文本进行编码。
3.根据权利要求1所述的引入类信息的文本生成图像方法及装置,其特征在于:所述步骤2中,如果每个文本-图像数据只属于一个类,则使用一位有效编码(one-hot)的方式对类信息进行编码,如果文本-图像数据属于多个类,则使用多位有效编码(multi-hot)的方式编码类信息。
4.根据权利要求1所述的引入类信息的文本生成图像方法及装置,其特征在于:所述步骤3中,所述循环神经网络采用双向长短时记忆网络。
5.根据权利要求1所述的引入类信息的文本生成图像方法及装置,其特征在于:.所述步骤3中文本语义嵌入表示与噪声的混合方式采用直接连接的方式,所采用的噪声为高斯噪声z~N(0,I),文本语义嵌入s与z的混合结果为zs=(s,z)。
6.根据权利要求1所述的引入类信息的文本生成图像方法及装置,其特征在于:所述步骤4中类信息语义嵌入与噪声的混合方式为变分推断,即变分编码器在给定噪声z和类信息c的情况下,推测类信息的隐属性分布q(zc|c,z),从该分布中采样的类信息语义嵌入表示zc。
7.根据权利要求1所述的引入类信息的文本生成图像方法及装置,其特征在于:所述步骤5中,采用上采样操作对文本隐编码和类信息隐编码进行解码得到图像特征。
8.根据权利要求1所述的引入类信息的文本生成图像方法及装置,其特征在于,所述步骤6中,文本生成的图像特征hc和类信息生成的图像特征hr是通过点乘的方式进行融合,融合后的图像特征可表示为h1=hc⊙hr;采用卷积神经网络对融合和后的图像特征进行解码生成图像。
9.根据权利要求1所述的引入类信息的文本生成图像方法及装置,其特征在于,所述步骤7中的对抗训练方法为:对生成图像和真实图像分别通过卷积神经网络得到图像隐表示,同时输入对应的文本和类信息,输出对图像真实程度,图像与文本匹配程度以及图像与类信息匹配程度的评分。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于东南大学,未经东南大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110071013.8/1.html,转载请声明来源钻瓜专利网。
- 信息记录介质、信息记录方法、信息记录设备、信息再现方法和信息再现设备
- 信息记录装置、信息记录方法、信息记录介质、信息复制装置和信息复制方法
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录设备、信息重放设备、信息记录方法、信息重放方法、以及信息记录介质
- 信息存储介质、信息记录方法、信息重放方法、信息记录设备、以及信息重放设备
- 信息存储介质、信息记录方法、信息回放方法、信息记录设备和信息回放设备
- 信息记录介质、信息记录方法、信息记录装置、信息再现方法和信息再现装置
- 信息终端,信息终端的信息呈现方法和信息呈现程序
- 信息创建、信息发送方法及信息创建、信息发送装置