[发明专利]风格图像生成方法、模型的训练方法、装置、设备及介质有效
申请号: | 202011197824.4 | 申请日: | 2020-10-30 |
公开(公告)号: | CN112991148B | 公开(公告)日: | 2023-08-11 |
发明(设计)人: | 尹淳骥;张耀;李文越 | 申请(专利权)人: | 抖音视界有限公司 |
主分类号: | G06T3/00 | 分类号: | G06T3/00;G06V10/772;G06V10/774 |
代理公司: | 北京开阳星知识产权代理有限公司 11710 | 代理人: | 王雪 |
地址: | 100041 北京市石景山区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 风格 图像 生成 方法 模型 训练 装置 设备 介质 | ||
1.一种风格图像生成方法,由图像生成模型执行,其特征在于,所述方法包括:
接收第一风格图像;
对所述第一风格图像进行风格转换处理后,生成第二风格图像;
其中,所述图像生成模型为基于具有对应关系的第一风格图像样本与第二风格图像样本训练得到,所述图像生成模型的隐空间在训练的过程中被约束,被约束的所述隐空间用于约束所述第一风格图像的特征向量;
所述对所述第一风格图像进行风格转换处理后,生成第二风格图像,包括:
提取所述第一风格图像的特征向量;其中,所述图像生成模型的隐空间被约束为包含预设个数隐向量的向量字典,所述向量字典用于存储隐向量;
从所述向量字典中,确定与所述特征向量之间的距离最小的隐向量,作为所述特征向量对应的目标向量;
基于所述目标向量,生成所述第一风格图像对应的第二风格图像。
2.根据权利要求1所述的方法,其特征在于,所述图像生成模型的隐空间被约束为正态分布;所述对所述第一风格图像进行风格转换处理后,生成第二风格图像,包括:
将所述第一风格图像映射到所述正态分布中,得到所述第一风格图像的特征向量;
基于所述特征向量,生成所述第一风格图像对应的第二风格图像。
3.根据权利要求2所述的方法,其特征在于,所述基于所述特征向量,生成所述第一风格图像对应的第二风格图像之前,还包括:
基于目标权重系数更新所述特征向量,得到更新后特征向量;所述目标权重系数用于表示所述特征向量与所述正态分布的原点之间的距离;
相应的,所述基于所述特征向量,生成所述第一风格图像对应的第二风格图像,包括:
基于所述更新后特征向量,生成所述第一风格图像对应的第二风格图像。
4.根据权利要求3所述的方法,其特征在于,所述基于目标权重系数更新所述特征向量,得到更新后特征向量之前,还包括:
响应于目标权重系数的输入操作,获取所述目标权重系数。
5.根据权利要求1-4中任一项所述的方法,其特征在于,所述第一风格图像包括线稿风格图像,所述第二风格图像包括漫画风格图像。
6.一种图像生成模型的训练方法,其特征在于,所述方法包括:
获取具有对应关系的第一风格图像样本与第二风格图像样本;
在基于所述具有对应关系的第一风格图像样本与第二风格图像样本进行训练的过程中,对隐空间进行约束,得到训练后的图像生成模型;其中,被约束的所述隐空间用于约束所述训练后的图像生成模型的应用阶段输入的第一风格图像的特征向量;
所述在基于具有对应关系的第一风格图像样本与第二风格图像样本进行训练的过程中,对隐空间进行约束,得到训练后的图像生成模型,包括:
接收所述第一风格图像样本,提取所述第一风格图像样本的特征向量;
从向量字典中,确定与所述特征向量的距离最小的隐向量,作为所述特征向量对应的目标向量;所述向量字典中存储有预设个数隐向量;
基于所述目标向量,生成所述第一风格图像样本对应的第一输出图像;
将与所述第一风格图像样本具有对应关系的第二风格图像样本和所述第一输出图像输入至判别器中,经过所述判别器的处理后,得到损失值;
基于所述损失值更新所述向量字典,并进入下一轮迭代训练,直到达到预设收敛条件,得到训练后的图像生成模型。
7.根据权利要求6所述的方法,其特征在于,所述提取所述第一风格图像样本的特征向量之前,还包括:
基于目标数据增强方式,对所述第一风格图像样本进行数据增强处理,得到增强后图像样本;
相应的,所述提取所述第一风格图像样本的特征向量,包括:
提取所述增强后图像样本的特征向量。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于抖音视界有限公司,未经抖音视界有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011197824.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:螺旋式流体机械
- 下一篇:三维打印方法和导电液体三维打印系统
- 彩色图像和单色图像的图像处理
- 图像编码/图像解码方法以及图像编码/图像解码装置
- 图像处理装置、图像形成装置、图像读取装置、图像处理方法
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序以及图像解码程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序
- 图像形成设备、图像形成系统和图像形成方法
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序