[发明专利]一种基于深度学习的肖像图像双下巴去除方法

权利要求书

1.一种基于深度学习的肖像图像双下巴去除方法，其特征在于，包括以下步骤：

(1)通过随机采样训练得到粗糙双下巴分离边界，再经过语义扩散细化得到对应的精细双下巴分离边界；所述精细双下巴分离边界用于直接编辑隐码从而消除图像中的双下巴，并保持面部基本不变，所述粗糙双下巴分离边界为编辑隐码后不能保持面部特征的分离边界；

训练一个精细双下巴分离边界的具体步骤如下：

(1-1)随机采样得到N_w个隐码将其输入到StyleGAN2的生成器中得到对应的随机采样肖像图像，训练一个双下巴分类器对所述随机采样肖像图像进行评分，根据式(I)得到隐码对应的分数：

s＝C(g(T(w,ψ))) (I)

其中，s为双下巴分数，C为双下巴分类器，g为StyleGAN2的生成器，g(T(w,ψ))为生成器输出的肖像图像，T为StyleGAN2中的截断技巧和堆栈操作，T将映射为N_layer＝(log₂(Resolution)-1)×2，Resolution为输入图像的分辨率，ψ为截断技巧中的超参数，其缩放给定的w到中心的偏差；

则对应的隐码-分数数据集为：

(1-2)基于所述的隐码-分数数据集(W,S)，采用支持向量机训练输出一个粗糙双下巴分离边界b_c的法向量n_c；

(1-3)采用粗糙双下巴分离边界编辑隐码w_d，所述w_d为隐码w中对应的有双下巴的肖像图像的隐码，根据式(III)合成一个没有双下巴的中间肖像图像

其中，α为控制n_c权重的超参数，σ为风格混合操作；

所述风格混合操作σ(A,B)将的后N_style层替换为的后N_style层，A和B的后N_style层分别为A和B的风格特征，通过替换操作，在不改变肖像图像结构的情况下进行风格迁移；

(1-4)提取w_d对应的原始肖像图像x^d＝g(T(w_d,ψ))的脖颈区域的掩膜m_neck；

(1-5)基于原始肖像图像x^d和中间肖像图像计算输出先验信息

其中，⊙表示元素级别的乘法；

(1-6)利用截断技巧和堆栈操作，将所述映射为

(1-7)将所述先验信息的语义扩散入中，得到不具有双下巴的肖像图像及其对应的隐码

(1-8)基于成对的具有双下巴和不具有双下巴的隐码和得到对应的隐码-分数数据集：

采用支持向量机对(W+,S)′训练输出一个精细双下巴分离边界b_f的法向量n_f；

(2)输入需要去除双下巴的肖像图像并进行预处理，得到在StyleGAN2隐空间中对应的隐码；

(3)利用步骤(1)中训练得到的精细双下巴分离边界对步骤(2)中得到的隐码进行编辑，得到一张没有双下巴并且保持其他面部特征不变的新肖像图像；

(4)提取出步骤(2)中输入的需要去除双下巴的肖像图像的脖颈区域的掩膜；

(5)用图像扭曲方法调整新肖像图像中的偏差，使新肖像图像的脖颈和下巴无缝嵌入到所述需要去除双下巴的肖像图像中，利用步骤(4)得到的掩膜计算得到去除双下巴后的肖像图像。