[发明专利]一种基于知识引导的人脸属性编辑方法

权利要求书

1.一种基于知识引导的人脸属性编辑模型，该方法包括：

步骤1：对数据集进行预处理；

获取真实人脸图像，并将这些真实图像按照其中人脸显示的属性进行标注，对所有图片的像素值进行归一化，并对图片进行缩放裁剪；

步骤2：构建生成对抗网络的生成器网络；

生成器网络输入为原始图像和图像的属性编辑向量，输出为属性编辑后图像；生成器网络G由三个部分构成：编码器模块G_enc、解码器模块G_dec、滤波模块G_F，其中编码器模块G_enc的输入为原始图像，输出为图像特征，由5层卷积网络块依次连接而成；解码器模块G_dec的输入为图像特征和图像的过滤特征，输出为编辑后人脸图像，由5层转置卷积网络块依次连接而成，并且编码器和解码器之间采用了Unet网络中的对称跳跃连接；滤波模块G_F由STU结构组成，它的输入为图像特征，输出为图像的过滤特征，用于选择性过滤编码器和解码器之间的对称跳跃连接中传递的图像特征；

步骤3：构建生成对抗网络的判别器网络；

判别器网络输入为图片，该图片为生成器网络的输出，输出为一个标量和一个向量；判别器网络D分为三个模块：特征提取模块D_e、对抗损失模块D_adv和基于注意力机制的属性分类模块D_cls；特征提取模块D_e的输入为图片x，输出为图片特征张量f，特征提取模块D_e由5层卷积网络块依次连接而成；对抗损失模块D_adv的输入为特征提取模块D_e的输出，输出为标量，值越大表示图像越真实，对抗损失模块D_adv采用两层线性网络块构成；属性分类模块D_cls的输入为特征提取模块D_e的输出，输出为属性分类向量，属性分类模块D_cls由提取属性特征提取模块、基于知识引导的注意力模块和属性嵌入模块依次级联而成：

(1)属性特征提取模块：输入为图片的特征张量f，将其沿第2维度和第3维度分割为R个特征向量其刚好对应于图像x在空间平面上的R个区域的特征向量；定义第r个区域的对于第i个人脸属性的重要程度为：

其中，v_i为第i个人脸属性的语义向量，i＝1，...，M，M为编辑的人脸属性数量，W_α表示一个可学习的矩阵，用来度量属性语义向量和每个区域的特征向量的兼容性；在得到第i个属性关于R个区域的注意力权值后，根据公式计算第i个属性的特征为：

(2)知识引导的注意力模块：输入为属性特征为了能够综合相关的人脸属性的影响，首先计算各个人脸属性之间的贡献度，根据公式定义第j个属性对第i个属性的贡献度为：

其中，W_s表示一个可学习的矩阵，用来度量属性之间的贡献度，如果第j个属性与i个属性的相关性越高，那么第j个属性对于第i个属性影响更大，即贡献度越高；在得到M个属性对于第i个属性的贡献度权值后，根据贡献度综合其他属性对第i个属性的影响，计算方式为：

(3)属性嵌入模块：输入为综合属性特征输出为人脸属性的强度，定义计算第i个人脸属性强度的公式为：

其中，W_e表示一个可学习的矩阵，用来将综合属性特征映射到属性语义空间中，sigmoid(·)函数用来将属性强度映射到(0，1)中；

步骤4：设计人脸属性编辑模型训练过程中的属性编辑操作；

采取小批量梯度下降算法对模型进行优化，分批次向模型输入数据集中的N个图像样本-属性标签对：(x，l)，属性标签l是一个长度为M二元向量，每一位的0或1分别表示对应属性的无或有。属性编辑向量构造方式如下：以图像样本x本身的属性标签作为它的原始标签l_s，并为每个图像样本x随机挑取其他图像样本的属性标签作为目标属性标签l_t，以保证属性编辑操作不会存在冲突，以Δl＝l_t-l_s作为图像x的属性编辑向量。当Δlⁱ＝1时，表示为图像x增加第i个属性；当Δlⁱ＝0时，表示不改变图像x的第i个属性；当Δlⁱ＝-1时，表示为图像x去掉第i个属性；

步骤5：设计基于知识的正则损失项

(1)从人脸数据库中提取人脸属性关系的知识：基于CelebA的标签库计算第i个人脸属性和第j人脸属性之间的相关度：

其中n_ij代表第i个属性和第j个属性在标签库中共同出现的次数，n_i和n_j分别代表第i个属性和第j个属性在标签库中出现的次数，N_d是标签库中标签的数量，softmax(·)函数用来将属性之间的相关度进行归一化；阻尼参数∈，用来防止计算过程中出现n_ij→0的情况；当两个人脸属性的共现频次越高，它们的相关度也会更大；

(2)利用提取到的知识约束模型计算属性之间的贡献度：如果第j个属性与第i个属性经的共现频次越高，即第i个属性与第j个属性之间的相关度越大，那么第j个属性对第i个属性的贡献度也应该越大，设计一个正则损失项用来约束模型计算的属性之间的贡献度符合先验知识：

其中s_i*＝[s_i1，s_i2，...，s_iM]为M个人脸属性对于第i个人脸属性的贡献度向量，r_i*＝[r_i1，r_i2，...，r_iM]为M个人脸属性关于第i个人脸属性的相关度向量，sim·，·是一种向量相似性的度量方法，采用余弦相似度作为度量方法：当优化正则损失越来越小时，即sims_i*，r_i*→1时，模型计算得到的属性贡献度会越来越符合人脸属性关系的知识；

步骤6：为生成对抗网络设计损失函数；

(1)在训练阶段，针对判别器网络设计损失函数，以引入先验知识的约束：设由编辑后的图像p_g为生成器拟合的图像分布；设真实图像-属性标签对为(x，l)～p_data，p_data为真实图像数据集的分布；利用判别器的特征提取模块D_e来提取真实图像x的图像特征：f＝D_e(x)，将真实图像的特征f送到判别器的对抗损失模块D_adv中计算图像的真实度估计：D_adv(x)；按照上述过程，得到生成图像的真实度估计：这样构造生成对抗网络的判别器的对抗损失：

其中，表示判别器的对抗损失模块对编辑图像的输出值，输出值越大表明编辑图像越真实，表示对该输出值的期望，D_adv(x)表示判别器的对抗损失模块对编辑图像的输出值，表示对该输出值的期望。即分布为数据集分布p_r和生成图像分布p_g的线性混合，∈表示线性混合系数，表示判别函数关于混合图像求梯度，为梯度惩罚项，用来约束判别器模型的参数符合lipschitz连续条件，λ_gp为梯度惩罚系数；

将真实图像的特征f送到判别器的属性分类模块D_cls中，预测图像的属性分类，输出表示为为判别器构造分类损失函数：

其中，D_cls(x)表示判别器的属性分类模块对原始图像x的属性预测向量，表示对图像x的第i个属性的预测值e_i，要求与原始属性标签的第i个分量l_i越一致越好；同时结合步骤5中构造的基于知识的正则损失项得到判别器的总损失函数为：

其中，为判别器的知识约束损失，通过人脸知识来指导判别器中的注意力机制综合相关属性的影响。λ_cls为属性分类损失函数的权重，为判别器的知识约束损失的权重。

(2)在训练阶段，针对生成器网络设计损失函数，以引入先验知识的约束：设从数据集中抽取的原始图像一属性标签对为(x_s，l_s)～p_data，同时按照步骤3的方法为每一张图片抽取目标属性标签l_t，构造属性编辑向量Δl＝l_t-l_s。首先利用生成器的编码器提取原始图像的特征f_s＝D_enc(x_s)，将原始图像特征f_s和属性编辑向量Δl进行拼接得到带有条件的图像特征f_t，将原始图像特征f_s和长度为M的0向量进行拼接得到不带条件的图像特征f_rec以用于图像重建；然后分别将f_t，f_rec送入滤波模块D_F中得到过滤特征f′_t，f′_rec，然后将图像特征和过滤特征送入解码器D_dec中，分别得到编辑人脸图像和重建人脸图像为了方便表示，这里简记为然后按照步骤6-(1)中的过程得到编辑人脸的真实度然后构造生成器的对抗损失函数：

其中，为生成器通过属性编辑向量Δl对原始图像x_s进行编辑后的图像，D(G(x_s，Δl))为判别器关于编辑图像的真实度预测值，该值越高，表明编辑后图像越真实；表示对编辑后图像的真实度的数学期望；

按照步骤6中(1)的过程得到编辑人脸的属性预测向量然后构造生成器的属性编辑损失函数：

其中，为指示函数，当Δl_i＝0时，当Δl_i≠0时，表示判别器的属性分类模块对编辑人脸的属性预测向量，表示对图像的第i个属性的预测值，要求与目标属性标签的第i个分量越一致越好；

同时，为了保证生成器G能够保留人脸的基本信息，要求重建人脸图像和原始人脸图像x_s越一致越好，构造生成器的图像重建损失函数：

其中，||·||₁为矩阵1范数，当重建图像x_r＝G(x_s，0)与原始图像x_s的每个像素点的取值越一致的时候，||x_s-G(x_s，0)||₁越小；同时结合步骤5中构造的基于知识的正则损失项得到生成器的总损失函数为：

其中，为生成器的知识约束损失，用来约束生成网络在编辑目标人脸属性时，同时考虑对其他相关人脸属性的影响。λ_op为属性编辑损失的权重，λ_rec为图像重建损失的权重，为生成器的知识约束损失的权重。

步骤7：将CelebA-HQ划分为训练集和测试集，在训练集上训练由步骤2和步骤3中定义的生成对抗神经网络，并利用步骤6构建的损失函数约束网络的训练，在更新生成器网络G时固定判别器网络D的参数，而更新判别器网络D时则固定生成器网络G的参数，每次迭代更新判别器5次然后更新生成器一次；

步骤8：采用训练完成的生成器网络G来对测试集中的人脸图像进行属性编辑，并用属性编辑成功率来衡量本发明提出的模型的属性编辑效果。