[发明专利]用于生成卡通图像的方法、计算设备和存储介质有效
申请号: | 202111076749.0 | 申请日: | 2021-09-14 |
公开(公告)号: | CN113838159B | 公开(公告)日: | 2023-08-04 |
发明(设计)人: | 刘思远;甘启;章子维;张良国 | 申请(专利权)人: | 上海任意门科技有限公司 |
主分类号: | G06T11/00 | 分类号: | G06T11/00;G06V10/774;G06V10/764;G06V10/82;G06N3/0464;G06N3/08;G06Q50/00 |
代理公司: | 北京市金杜律师事务所 11256 | 代理人: | 马明月 |
地址: | 201207 上海市浦东新*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 用于 生成 卡通 图像 方法 计算 设备 存储 介质 | ||
1.一种用于生成卡通图像的方法,包括:
获取关于目标对象的目标对象图像和关于卡通对象的卡通图像;
基于目标对象和卡通对象的目标区域的属性信息,针对目标对象图像和卡通图像进行分类,以用于生成目标对象输入图像和卡通输入图像;
确定具有相同的属性信息的目标对象输入图像和卡通输入图像,以用于训练第一神经网络模型,所述第一神经网络模型包括第一生成器、第二生成器、第一判别器和第二判别器;
经由所述第一生成器,将所述目标对象输入图像转化为卡通转化图像,以用于基于所述卡通转化图像生成目标对象重建图像;
经由所述第二生成器,将所述卡通输入图像转化为目标对象转化图像,以用于基于目标对象转化图像生成卡通重建图像;以及
经由所述第一判别器和第二判别器,分别确定所述目标对象转化图像和所述卡通转化图像的真伪,以用于训练所述第一神经网络模型,经训练的第一神经网络模型用于基于所获取的用户图像生成关于用户的卡通图像。
2.根据权利要求1所述的方法,还包括:
交替地利用具有不同属性信息的多个输入图像组来训练所述第一神经网络模型,所述多个输入图像组中的每一个输入图像组中所包括的目标对象输入图像和卡通输入图像具有相同的属性信息。
3.根据权利要求1所述的方法,其中基于所述卡通转化图像生成目标对象重建图像包括:
将所述卡通转化图像输入所述第二生成器的编码器,以便生成第一编码;
经由第二生成器的残差注意力模块,提取所述第一编码的特征;以及
经由第二生成器的解码器,将所提取的第一编码的特征转化为所述目标对象重建图像。
4.根据权利要求1所述的方法,其中基于目标对象转化图像生成卡通重建图像包括:
将所述目标对象转化图像输入所述第一生成器的编码器,以便生成第二编码;
经由第一生成器的残差注意力模块,提取所述第二编码的特征;以及
经由第一生成器的解码器,将所提取的第二编码的特征转化为所述卡通重建图像。
5.根据权利要求1所述的方法,其中经由所述第一判别器和第二判别器分别确定所述目标对象转化图像和所述卡通转化图像的真伪包括:
经由所述第一判别器,提取所述目标对象重建图像和所述目标对象输入图像的特征,以便生成关于所述目标对象转化图像的真伪;以及
经由所述第二判别器,提取所述卡通重建图像和所述卡通输入图像的特征,以便生成关于卡通转化图像的真伪。
6.根据权利要求1所述的方法,其中基于目标对象和卡通对象的目标区域的属性针对目标对象图像和卡通图像进行分类以便分别生成目标对象图像空间和卡通图像空间包括:
经由第二神经网络模型,提取目标对象图像的图像特征,以便识别目标对象的目标区域的第一位置信息,所述目标区域为脸部区域;
基于所述第一位置信息,裁剪目标对象图像,以便生成目标对象输入图像,以用于基于所述目标对象输入图像确定目标对象的目标区域的第一属性信息;
经由第三神经网络模型,提取卡通图像的图像特征,识别卡通对象的目标区域的第二位置信息;
基于所述目标区域的第二位置信息,裁剪卡通图像,以便生成卡通输入图像,以用于基于所述卡通输入图像确定卡通对象的目标区域的第二属性信息;
响应于确定所述第一属性信息和所述第二属性信息相匹配,基于所述第一属性信息或所述第二属性信息索引所述目标对象输入图像和卡通输入图像;以及
基于经索引所述目标对象输入图像和卡通输入图像,分别生成目标对象图像空间和卡通图像空间。
7.根据权利要求6所述的方法,还包括:
基于所述第一属性信息,生成第一属性特征向量;
融合所述第一属性特征向量和与所述第一属性信息相关联的目标对象输入图像,以便生成用于输入神经网络模型的目标对象输入数据;
基于所述第二属性信息,生成第二属性特征向量,所述第一属性信息和所述第二属性信息相匹配;以及
融合所述第二属性特征向量和与所述第二属性相关联的卡通输入图像,以便生成用于输入神经网络模型的卡通输入数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海任意门科技有限公司,未经上海任意门科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111076749.0/1.html,转载请声明来源钻瓜专利网。
- 彩色图像和单色图像的图像处理
- 图像编码/图像解码方法以及图像编码/图像解码装置
- 图像处理装置、图像形成装置、图像读取装置、图像处理方法
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序以及图像解码程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序
- 图像形成设备、图像形成系统和图像形成方法
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序