[发明专利]面部属性自动编辑系统、方法、存储介质和终端在审
申请号: | 201811242925.1 | 申请日: | 2018-10-24 |
公开(公告)号: | CN109377535A | 公开(公告)日: | 2019-02-22 |
发明(设计)人: | 匡平;王豪爽;付蓉;李小芳;宋欣豪 | 申请(专利权)人: | 电子科技大学 |
主分类号: | G06T11/00 | 分类号: | G06T11/00;G06T9/00;G06K9/62 |
代理公司: | 成都华风专利事务所(普通合伙) 51223 | 代理人: | 徐丰;张巨箭 |
地址: | 611731 四川省成*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了面部属性自动编辑系统、方法、存储介质和终端,系统包括训练模块和自动编辑模块;所述的训练模块包括编码器Genc、第一解码器Gdec、第二解码器Gdec、分类器C、判别器D、属性分类约束单元、重建误差单元、对抗误差单元和总误差单元;所述的自动编辑模块采用训练模块中训练完成的编码器Genc、第二解码器Gdec和分类器C。本发明不仅达到了面部属性编辑的目的,而且可以从另外一张图中自动提取该图中的期望属性,并将该图片的期望属性应用到调整初始图片,使得生成图像同时拥有两张图片的特征的目的。 | ||
搜索关键词: | 解码器 训练模块 自动编辑系统 存储介质 误差单元 自动编辑 编码器 分类器 终端 生成图像 属性编辑 属性分类 属性应用 约束单元 自动提取 判别器 总误差 期望 图片 对抗 重建 | ||
【主权项】:
1.面部属性自动编辑系统,其特征在于:包括训练模块和自动编辑模块;所述的训练模块包括编码器Genc、第一解码器Gdec、第二解码器Gdec、分类器C、判别器D、属性分类约束单元、重建误差单元、对抗误差单元和总误差单元;带有原始属性a的图片xa分别输出至重建误差单元和编码器Genc,编码器Genc的输出端输出潜在表示z分别至两个解码器,即z=Genc(xa);第一解码器Gdec的另外一个输入端输入原始属性a,第一解码器Gdec的输出端输出重建图片
至重建误差单元,即
第二解码器Gdec的另外一个输入端输入期望属性b,第二解码器Gdec的输出端输出期望图片
分别至分类器C和判别器D,即
分类器C的输出端输出提取得到的图片属性
至属性分类约束单元,即
属性分类约束单元的另外一个输入端输入期望属性b;判别器D的另外一个输入端输入带有原始属性a的图片xa,判别器D的输出端与对抗误差单元连接;总误差单元的输入端分别与属性分类约束单元、重建误差单元、对抗误差单元连接,总误差单元的输出端分别与编码器Genc、第一解码器Gdec、第二解码器Gdec、分类器C、判别器D连接;其中,所述的属性分类约束单元包括期望属性生成子单元和原始属性生成子单元,所述的期望属性生成子单元用于将潜在表示z和期望属性b生成一张逼真的照片,公式如下:![]()
式中,公式中的Gdec为第二解码器Gdec,pdata表示真实图像的分布,pattr表示属性的分布,xa~pdata表示从真实图像中取样,b~pattr表示从属性中取样,
表示第i个属性的预测,n为属性数量,lg(xa,b)是所有属性的二元交叉熵损失的总和,E表示分布抽样后对lg(xa,b)取期望值;所述的原始属性生成子单元用于将潜在表示z和原始属性a生成尽可能与带有原始属性a的图片xa一样的照片,公式如下:![]()
式中,C表示分类器,xa~pdata表示从真实图像中取样,Ci(xa)表示第i个属性的预测,n为属性数量,lr(xa,a)是所有属性的二元交叉熵损失的总和,E表示分布抽样后对lr(xa,a)取期望值;所述的重建误差单元旨在保留属性之外的细节,公式如下:
式中,公式中的Gdec为第一解码器Gdec,并采用l1损失函数;所述的对抗误差单元用于让生成的期望图片
更加真实,公式如下:![]()
式中,式中的Gdec为第二解码器Gdec,||D||L小于等于1表示D属于1‑lipschitz连续,L表示第几范式;D(xa)表示表示对原图片进行判别,
表示对生成的期望属性的图片进行判别;所述的总误差单元用于结合属性分类约束单元、重建误差单元和对抗误差单元获得统一的属性GAN,用来自动编辑待具有期望属性b的图片;所述的总误差单元包括编码器解码器目标计算子单元、以及分类器判别器目标计算子单元,其中编码器解码器目标计算子单元的公式如下:
式中,式中的Gdec为第二解码器Gdec和第一解码器Gdec,λ1、λ2为超参数,值为给定值;分类器判别器目标计算子单元的公式如下:
式中,λ3为超参数,值为给定值;所述的自动编辑模块采用训练模块中训练完成的编码器Genc、第二解码器Gdec和分类器C,所述的编码器Genc的输入端输入待自动编辑的图片Xa,所述的待自动编辑的图片Xa包括原始属性a,分类器C的输入端输入待提取特征的图片Xb,所述的待提取特征的图片Xb包含期望属性b;编码器Genc的输出端输出潜在表示z至第二解码器Gdec,即z=Genc(Xa),分类器C的输出端输出提取得到的期望属性b至第二解码器Gdec,即b=C(Xb),第二解码器Gdec的输出端输出自动编辑完成的具有期望属性b的图片Xout,即Xout=Gdec(z,b)=Gdec(Genc(Xa),C(Xb))。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于电子科技大学,未经电子科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201811242925.1/,转载请声明来源钻瓜专利网。