[发明专利]纹理生成方法、装置、设备及存储介质在审
申请号: | 202110352202.2 | 申请日: | 2021-03-31 |
公开(公告)号: | CN112950739A | 公开(公告)日: | 2021-06-11 |
发明(设计)人: | 邓又铭;宋勃宇;刘文韬;钱晨 | 申请(专利权)人: | 深圳市慧鲤科技有限公司 |
主分类号: | G06T11/00 | 分类号: | G06T11/00;G06T17/00;G06N3/04;G06N3/08 |
代理公司: | 北京博思佳知识产权代理有限公司 11415 | 代理人: | 靳玫 |
地址: | 518000 广东省深圳市*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 纹理 生成 方法 装置 设备 存储 介质 | ||
1.一种纹理生成方法,其特征在于,所述方法包括:
获取目标对象的第一视图纹理;
将所述第一视图纹理输入预先训练得到的纹理生成网络,得到所述纹理生成网络预测输出的所述目标对象的第二视图纹理,所述第一视图纹理和第二视图纹理对应于不同的视图采集角度。
2.根据权利要求1所述的方法,其特征在于,
所述目标对象是人体,所述目标对象的第一视图纹理是所述人体的正向视图纹理,所述第二视图纹理是所述人体的背向视图纹理。
3.根据权利要求1或2所述的方法,其特征在于,所述得到所述纹理生成网络预测输出的所述目标对象的第二视图纹理之后,所述方法还包括:
将所述第一视图纹理和第二视图纹理,映射至所述目标对象的初始三维模型,得到填充有纹理结构的目标三维模型;所述初始三维模型表示所述目标对象的几何形状的三维网格模型。
4.根据权利要求1~3任一所述的方法,其特征在于,所述将所述第一视图纹理输入预先训练得到的纹理生成网络,得到所述纹理生成网络预测输出的所述目标对象的第二视图纹理,包括:
对所述第一视图纹理进行下采样处理,提取得到第一纹理特征图;
基于所述第一纹理特征图进行上采样处理,输出所述第二视图纹理。
5.根据权利要求1~4任一所述的方法,其特征在于,所述纹理生成网络的训练过程包括:
基于样本对象的第一视图纹理样本,通过待训练的纹理生成网络输出所述样本对象的第二视图纹理样本;
根据所述第一视图纹理样本和所述第二视图纹理样本,生成网络监督信息;所述网络监督信息包括如下至少一种:纹理监督信息、以及通过生成对抗网络得到的对抗监督信息;
基于所述网络监督信息,调整所述纹理生成网络的网络参数。
6.根据权利要求5所述的方法,其特征在于,在所述网络监督信息包括:纹理监督信息时,所述根据所述第一视图纹理样本和所述第二视图纹理样本,生成网络监督信息,包括:
对所述第一视图纹理样本进行特征提取,得到第一纹理特征;
对所述第二视图纹理样本进行特征提取,得到第二纹理特征;
根据所述第一纹理特征、第二纹理特征以及第二视图标签的纹理特征,得到用于表示纹理特征之间差异的第一特征损失作为所述纹理监督信息。
7.根据权利要求5所述的方法,其特征在于,在所述网络监督信息包括所述对抗监督信息时,所述根据所述第一视图纹理样本和所述第二视图纹理样本,生成网络监督信息,包括:
将所述第一视图纹理样本和第二视图纹理样本输入第一判别器;
根据所述第一判别器的输出值和第一判别标签,得到第一判别损失作为所述对抗监督信息。
8.根据权利要求5~7任一所述的方法,其特征在于,所述网络监督信息还包括:回归监督信息;所述方法还包括:
基于所述第二视图纹理样本、以及对应的第二视图标签,得到第一回归损失作为所述回归监督信息。
9.根据权利要求5所述的方法,其特征在于,所述基于样本对象的第一视图纹理样本,通过待训练的纹理生成网络输出所述样本对象的第二视图纹理样本,包括:
接收初始图像,所述初始图像中包括所述样本对象;
对所述初始图像进行处理,得到所述第一视图纹理样本、以及如下两个对象掩码中的至少一个:第一视图对象掩码和第二视图对象掩码;
将所述第一视图对象掩码和第二视图对象掩码中的至少一个对象掩码、以及所述第一视图纹理样本作为所述待训练的纹理生成网络的输入,得到所述纹理生成网络输出的所述第二视图纹理样本。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳市慧鲤科技有限公司,未经深圳市慧鲤科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110352202.2/1.html,转载请声明来源钻瓜专利网。