[发明专利]人脸属性编辑模型的训练方法、人脸属性编辑方法及设备在审
申请号: | 202110143937.4 | 申请日: | 2021-02-02 |
公开(公告)号: | CN112819689A | 公开(公告)日: | 2021-05-18 |
发明(设计)人: | 黄嘉彬;李玉乐;项伟 | 申请(专利权)人: | 百果园技术(新加坡)有限公司 |
主分类号: | G06T3/00 | 分类号: | G06T3/00;G06T9/00;G06K9/00 |
代理公司: | 北京三高永信知识产权代理有限责任公司 11138 | 代理人: | 邢少真 |
地址: | 巴西班让路枫树*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 属性 编辑 模型 训练 方法 设备 | ||
1.一种人脸属性编辑模型的训练方法,其特征在于,所述方法包括:
将第一图片输入图片编码器,得到所述图片编码器输出的编码特征,所述第一图片中的人脸具有第一属性;
将所述编码特征分别输入第一图片解码器和第二图片解码器,得到所述第一图片解码器输出的第二图片,以及所述第二解码器输出的第三图片,所述第二图片中的人脸具有第二属性,所述第三图片中的人脸具有第一属性,且所述第一属性不同于所述第二属性;
基于所述第二图片和所述第三图片,构建所述第一图片解码器的目标损失函数,所述目标损失函数包括对抗损失和特征匹配损失,所述特征匹配损失用于约束图片间深层语义特征的相似性;
基于所述目标损失函数训练所述第一图片解码器,并将所述图片编码器和训练得到的所述第一图片解码器确定为所述人脸属性编辑模型。
2.根据权利要求1所述的方法,其特征在于,所述基于所述第二图片和所述第三图片,构建所述第一图片解码器的目标损失函数,包括:
基于所述第二图片确定所述对抗损失;
基于所述第二图片和所述第三图片各自对应的深层语义特征,确定所述特征匹配损失;
基于所述对抗损失和所述特征匹配损失确定所述目标损失函数。
3.根据权利要求2所述的方法,其特征在于,所述基于所述第二图片和所述第三图片各自对应的深层语义特征,确定所述特征匹配损失,包括:
获取所述第一图片解码器生成所述第二图片过程中的第一深度特征图,以及所述第二图片解码器生成所述第三图片过程中的第二深度特征图,所述第一图片解码器和所述第二图片解码器的网络结构相同,且所述第一深度特征图和所述第二深度特征图为同一网络层级输出的特征图;
基于所述第一深度特征图和所述第二深度特征图确定所述特征匹配损失。
4.根据权利要求2所述的方法,其特征在于,所述基于所述第二图片确定所述对抗损失,包括:
将所述第二图片输入判别器,得到所述判别器输出的判别结果,所述判别器用于判别具有所述第二属性的原始图片和生成图片;
基于所述判别结果确定所述对抗损失。
5.根据权利要求2所述的方法,其特征在于,所述基于所述第二图片和所述第三图片,构建所述第一图片解码器的目标损失函数,还包括:
基于所述第一图片和所述第二图片确定属性感知损失,所述属性感知损失用于约束除所述第一属性和所述第二属性以外的人脸属性;
所述基于所述对抗损失和所述特征匹配损失确定所述目标损失函数,包括:
基于所述对抗损失、所述特征匹配损失以及所述属性感知损失确定所述目标损失函数。
6.根据权利要求5所述的方法,其特征在于,所述基于所述第一图片和所述第二图片确定属性感知损失,包括:
将所述第一图片和所述第二图片分别输入人脸属性分类器的特征提取层,得到所述第一图片对应的第一属性特征图以及所述第二图片对应的第二属性特征图;
分别将所述第一属性特征图和所述第二属性特征图输入所述人脸属性分类器的全连接层,得到所述第一图片对应的第一人脸属性分类结果,以及所述第二图片对应的第二人脸属性分类结果;
将所述第一属性特征图和所述第二属性特征图之间的L2损失,以及所述第一人脸属性分类结果和所述第二人脸属性分类结果之间的L2损失,确定为所述属性感知损失。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
获取第一样本图片,所述第一样本图片包含对应的属性标签;
将所述第一样本图片输入所述人脸属性分类器,得到所述人脸属性分类器输出的样本属性分类结果;
基于所述属性标签与所述样本属性分类结果,确定所述人脸属性分类器。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于百果园技术(新加坡)有限公司,未经百果园技术(新加坡)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110143937.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种发电厂生活污水提升装置
- 下一篇:一种过鱼通道目标鱼类图像分割方法和系统