[发明专利]一种基于身份保持的跨风格人脸原型重建技术

说明书

本发明公开了一种基于身份保持的跨风格人脸原型重建技术，包括以下步骤：S1：建立基于GAN的跨风格人脸原型重建模型，S2：建立模型的损失函数引导模型的训练过程，最终使得生成器在转换不同域的人脸图片风格的同时能够保留图片的原有身份特征；S3：将来自域A和域B的带有身份标签的人脸图片训练集输入到模型中进行模型训练，并构建测试集，查看训练好的模型在测试人脸图片上的人脸原型重建效果。本发明克服了现有跨风格人脸生成方法无法同时处理风格迁移和面部变化消除的缺点，可以实现跨光谱和跨艺术风格的人脸原型重建，避免了面部变化建模困难的问题。

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于身份保持的跨风格人脸原型重建技术。

背景技术

在刑事侦察中，目标嫌疑人照片可能拍摄自红外摄像头而呈现近红外风格，或者是基于目击证人的口头描述由专业画师手绘提供的素描图。由于这些近红外或者素描人脸图片与注册数据库中的可见光人脸证件照存在显著风格差异，因此大大增加了目标人脸的识别难度。此外，嫌疑人在被拍摄或者被目击过程中可能带有面部表情、存在大角度的头部姿态、或部分面部被遮挡，这些复杂的面部变化也将对目标人脸识别带来严重干扰。

近年来，深度卷积神经网络在很多图像处理任务上均取得了蓬勃的进展，其中生成对抗网络(GAN)技术鉴于其强大的生成能力被广泛应用于图片生成任务。GAN于2014年被蒙特利尔大学Ian Goodfellow等学者提出，并被图灵奖得主Yann LeCun赞誉为“机器学习这二十年来最酷的想法”。GAN的主要结构包括一个生成器G和一个判别器D，通过让生成器和判别器以相互博弈的方式进行交替学习，促使生成器生成以假乱真的图片。具体来说，生成器从特征空间中随机取样作为输入，其输出结果需要尽量模仿训练集中的真实样本。判别器的输入则为真实样本或生成器输出的虚拟样本，其目的是区分真实样本和虚拟样本。生成器和判别器相互对抗、不断调整网络参数，最终使判别器无法判断生成器的输出结果是真实样本或是生成样本，从而达到一种“纳什均衡”状态。

循环生成对抗网络(Cycle-GAN)是GAN的改进模型，它在GAN的前向映射基础上加入一个反向映射过程，从而构建了一个循环结构网络。Cycle-GAN认为图片到图片的翻译生成过程应该保持“循环一致性”，也即约束一张图片经过前向和反向两次映射后仍能在图片内容上与原图保持一致。现有的跨风格人脸生成方法大多基于Cycle-GAN结构，它们专注于如何对人脸图片进行风格迁移并同时保留面部细节不变。因此当输入人脸图片带有面部变化时，上述这些方法无法重建跨域跨风格的人脸原型图片(即正脸的、去遮挡的、均匀光照下的标准人脸照片)。

因此，为了方便刑侦专家对上述不同风格(或模态)且带有面部变化的人脸图片进行精确匹配和识别，本发明提供一种基于身份保持的跨风格人脸原型重建技术可以同时对目标人脸风格进行迁移并消除面部变化，还原其可见光风格的原型图片。

发明内容

本发明的主要目的在于克服现有跨风格人脸生成方法无法同时处理风格迁移和面部变化消除的缺点，提出一种基于身份保持的跨风格人脸原型重建技术。

一种基于身份保持的跨风格人脸原型重建技术，包括以下步骤：

S1：建立基于GAN的跨风格人脸原型重建模型，该模型包括一个生成器和两个多任务判别器，其中生成器由两个对称编码-解码结构子网络构成用来生成域A和域B两种风格人脸原型图片，两个多任务判别器分别作用于域A和域B用来预测所在域图片的身份标签和判定图片是否为真实原型；

S2：建立模型的损失函数引导模型的训练过程，最终使得生成器在转换不同域的人脸图片风格的同时能够比较好地保留图片的原有身份特征；

S3：将来自域A和域B的带有身份标签的人脸图片训练集输入到模型中进行模型训练，并构建测试集，查看训练好的模型在测试人脸图片上的人脸原型重建效果。

作为优选的，所述步骤S1的具体过程是：