[发明专利]一种基于进化式生成对抗网络的人脸图像修复模型

权利要求书

1.一种基于进化式生成对抗网络的人脸图像修复模型，特征是，分为两个部分：

第一部分是具有匹配器的生成式对抗网络，该部分用于对输入的人脸图像进行修复；以待修复的人脸图像与对应的掩码图像作为生成器的输入，生成器修复后的图像作为判别器与匹配器的输入，首先由判别器判别整张图像后，再由匹配器修复局部图像，实现整张图像的高清修复；

第二部分是神经进化，该部分用于进化形成性能优异的生成器模型；判别器将判别结果反向传播至生成器，判别结果作为选择Heuristic变异或Minimax变异更新生成器参数的依据，当生成器每变异迭代更新T次，执行交叉操作以生成新的子代生成器个体，直至产生具有最优的图像修复性能的生成器个体；

具体算法如下：

步骤1、生成器输入；

给定一个人脸图像数据集，随机生成掩码形成受损的人脸图像作为模型的训练数据；将受损的人脸图像与掩码图像输入生成器；生成器采用Encoder-Decoder的形式结构；掩码图像作用在于为网络输入遮挡区域的位置、形状的作用，在训练期间，由随机形状遮挡的人脸图像和对应的掩码图像作为训练输入对；

步骤1中，模型的生成器采用Encoder-Decoder的形式结构，直接对缺失部分的图像进行修复；在Encoder-Decoder的结构基础上，增加了镜像填充，帮助Decoder更真实地与输入图像映射

步骤2、匹配器输入；

将生成器修复的局部图像输入匹配器，匹配器用于点判别生成的修复部分的真实性与相关性，输出图像为D_m(G(x))；

步骤2中，匹配器将生成的图像分成大小为n*n的patch，n的大小具体由修复部分的大小决定，然后一一判别每个patch的真伪，因此会得到一个n*n的矩阵，其中每个元素都为1或0，将矩阵中的元素求平均值即可得到最终的图像Dm(G(x))；匹配器还会对修复部分图像的内容相关性进行判别，它通过点乘计算生成的修复图像与原图像对应位置像素值的差作为匹配器的损失，同时作为判别器的惩罚项；如公式(1),其中m为掩码图像，I表示原始图像，⊙为点乘，G(x)为生成器修复后的图像，D_m(G(x))为输出图像，P_g为生成器生成的样本分布；

步骤3、判别器输入；

将步骤2生成器生成的完整的人脸图像输入判别器；从图像全局出发评估生成修复图形真实性与合理性，并以判别器的输出作为惩罚项，输出值为D_d(G(x))；

步骤3中，进一步包括下列子步骤：

a)判别器从图像全局出发判断修复图像的真伪，保证修复边界像素的连续性；判别器以生成器生成的完整的人脸图像作为输入，输出值为D_d(G(x))，并以匹配器的输出作为惩罚项，克服了传统GAN在进行截断时导致模型梯度消失或梯度爆炸的问题；

b)修复图像经过判别器与匹配器的鉴定后，得到的两个输出值通过加权求和得到最终的输出D(G(x))，如公式(2)，因为修复部分图像的真实性对整张图像质量的影响更为重要，所以通过加权强化匹配器判别的结果，其中设置σ＝0.35、γ＝0.65；

D(G(x))＝σD_d(G(x))+γD_m(G(x)-I) (2)

c)根据匹配器提供的惩罚项，判别器的损失函数如公式(3)；其中，ω为1-Lipschitz函数,指满足||||f(x₁)-f(x₂)||≤||x₁-x₂||的函数,所以D是1-Lipschitz函数的集合；P_data为真实图像的数据分布；m为掩码图像，I表示原始图像，⊙为点乘，G(x)为生成器修复后的图像，D_m(G(x))为输出图像，P_g为生成器生成的样本分布；

步骤4、以神经进化训练EG-GAN模型；

通过神经进化更新生成器参数或生成新的生成器子代；通过神经进化的方式稳定地训练整个网络，将生成器视为种群中的“个体”，判别器与匹配器视为可以选择评价个体的“环境”，整个过程包括四个部分：变异、评估、选择、交叉；

步骤4中，进一步包括下列子步骤：

a)变异：变异本质是两个不同的目标函数，分别为Heuristic变异与Minimax变异，旨在判别器与匹配器对生成图像每一次评估后对生成器的网络权重进行更新；如(4)、(5)公式，其中P_g为生成图像的数据分布，G(x)表示生成器对图像x修复后的图像，D(G(x))表示生成图像经判别器与匹配器判别后的输出；本模型根据判别器输出的D(G(x))决定使用Minima×变异还是Heuristic变异作为生成器的目标函数进行权重更新：当D(G(x))的值大于0.5时，选择Minimax变异；当D(G(x))的值小于等于0.5时，则选择Heuristic变异，即可在全局为生成器网络的提供有效梯度，并指引模型向纳什平衡的趋势训练，稳定训练过程；

b)评估：在步骤5训练EG-GAN模型的过程中，利用最小化绝对误差(又称l1 loss)反映生成样本与真实样本之间的差异，并作为评估生成器表现的标准；如公式(6),其中xⁱ表示从真实数据分布中采样出的样本，G(xⁱ)则表示从生成数据分布中采样出的样本,n为样本个数；

c)选择：选择l1 loss值最小的两个生成器个体作为一对父代，淘汰其余个体；根据群体规模可以选择保留一对以上的父代；

d)交叉：交叉操作通过交换一对精英父代生成器Encoder部分的参数来产生新的子代生成器；为了避免频繁交叉操作造成生成器的性能震荡，生成器每变异迭代更新T次，才会执行一次交叉操作；引入交叉操作的目的在于发掘优秀生成器模型之间的共性，产生优秀模型的结合个体，并在一定程度上避免性能优异的生成器个体在参数更新的过程中消失，保证优异个体在种群中的延续；

步骤5、循环进化训练；

重复以上的步骤1-5，最终得到可实现对人脸图像清晰合理修复的生成器子代个体。