[发明专利]一种基于特征分离对抗网络的人脸图像衰老合成方法

摘要

该发明公开了一种基于特征分离对抗网络的人脸图像衰老合成方法，属于计算机视觉技术领域，涉及人脸图像衰老合成方法。它假设人脸的年龄特征分布在一个流形(Manifold)中，并使用自编码器(Auto‑encoder)提取原始图像的隐特征，再加入对应的年龄条件，最后使用条件生成对抗网络合成指定年龄的人脸图像，同时保留原人脸图像对应的身份。发明方法的创新性在于使用类内距离度量对编码器(Encoder)输出的隐特征进行约束，使得隐特征只与身份相关，去除与年龄相关的信息，以保证加入年龄条件后生成图像的年龄与目标年龄更加吻合。该方法可以应用于人脸图像衰老合成，跨年龄人脸识别以及美图软件等领域。

主权项

一种基于特征分离对抗网络的人脸图像衰老合成方法，该方法包括以下步骤：步骤1：对人脸数据库中图像进行预处理；使每附人脸图中的眼睛处于图片的中的固定位置，且双眼水平，图像大小尺寸统一，得到预处理后的带身份标签的数据库图像；步骤2：将数据库图像分为A、B两部分，将A部分预处理后的数据库图像按身份进行分组，从每组中随机挑选a张图片为一组样本，用于计算类内距离；将B部分预处理后的数据库图像按不同年龄段进行分类；步骤3：目标损失函数；1)自编码器损失函数LAE：自编码器的损失来源于图像的重构误差，L()表示矩阵的1‑范数；如下式所示，E为编码器，解码器由于与生成器共享权值，用G表示；x表示B部分处理后图像作为的输入图像，l表示输入图像的年龄标签，E[]表示求数学期望，pdata(x，l)是真实图像数据与年龄标签间的联合分布；LAE=minE,GEx,l~pdata(x,l)[L(x,G(E(x),l))]]]>2)条件对抗生成网络损失函数LGAN：条件对抗生成网络用于学习图像关于年龄的条件分布，Dimg表示图像的判别器；函数形式如下：LGAN=minGmaxDimgEx,l~pdata(x,l)[logDimg(x,l)]+Ex,l~pdata(x,l)[log(1-Dimg(G(E(x),l)))]]]>3)隐变量类内距离损失函数LK：LK=minEEx′~pdata(x′)[K(E(x′))]]]>其中K表示对同类样本计算类内样本距离，x'表示来自A部分处理后图像作为的输入图像；x'经过编码器得到一组隐变量zi,i＝1,2,...,n,将它们组合为矩阵的形式Z＝[z1,...,zn]，这些变量共有k个类别，可以将矩阵重新写为Z＝[Z1,...,Zk]，Zi由该组样本内第i类的所有样本组成，表示第i类中第si个数据；这样对于Z，类内聚类误差的平方和为：K(Z)=Σi=1kΣs=1si||zsi-mi||2,mi=Σs=1sizsi/si]]>mi是第i类样本的平均向量；令e为长度为si的单位向量，容易看出mi＝Aie/si并且第i类的类内聚类误差平方和为：Ki=Σs=1si||zsi-mi||2=||Zi-mieT||F2=||Zi(Isi-eeT/si)||F2]]>其中是一个投影矩阵并且所以，K(Z)=Σi=1kKi=Σi=1k(trace(ZiTZi)-(eTsi)ZiTZi(esi))]]>式中trace是对矩阵运算中的求迹运算；令n×k的正交矩阵U为：U=s1s2...ske/s1e/s2...e/sk]]>最终K(Z)可以被化简为如下的形式：K(Z)＝trace(ZTZ)‑trace(UTZTZU)4)隐变量的先验损失函数Lz_prior：根据流形学习的方法，设隐变量z存在于一流形空间中，并服从先验分布p(z)，那么编码器生成的隐变量应该同样满足该分布，因此使用隐变量的判别器Dz判别隐变量是否服从先验分布，损失函数为:minEmaxDzEz*~p(z)[logDz(z*)]+Ex~pdata(x)[1-logDz(E(x))]]]>其中z*是从先验分布p(z)中随机采样得到的样本；5)TV损失函数Ltv：TV损失全称为Total Variation Loss，该方法有助于消除生成图像中的Ghosting Artifacts现象，提升图像质量；损失函数为:minGEx,l~pdata(x,l)[TV(G(E(x),l))]]]>6)最终损失函数：将以上损失函数进行组合得到最终的损失函数minE,GmaxDz,DimgλEx,l~pdata(x,l)[L(x,G(E(x),l))]+βEx,l~pdata(x,l)[TV(G(E(x),l))]+γEx′~pdata(x′)[K(E(x′))]+Ez*~p(z)[logDz(z*)]+Ex~pdata(x)[1-logDz(E(x))]+Ex,l~pdata(x,l)[logDimg(x,l)]+Ex,l~pdata(x,l)[log(1-Dimg(G(E(x),l)))]]]>其中λ,β,γ为可调节的超参数，分别调节自编码器损失、TV损失和隐变量类内距离损失的在最终损失函数中所占的比重；步骤4：根采用步骤3得到损失函数建立人脸衰老模型；步骤5：采用步骤2得到的数据库图像对步骤4得到模型的进行训练，直到训练完毕；步骤6：采用训练好的模型对实际图像进行检测，完成实际图像的人脸衰老过程。