[发明专利]一种基于生成对抗网络的侧脸图片生成正脸图片的方法

说明书

本发明公开了一种基于生成对抗网络的侧脸图片生成正脸图片的方法，该方法将收集的侧脸图片和正脸图片用于生成对抗网络的训练，随后再次收集侧脸图片，输入到训练好的生成对抗网络中，输出正脸图片。本发明的生成正脸图片的方法本发明生成正脸图片的方法通过双路径生成器保证了脸部局部细节的存在，并通过预测感官和轮廓的位置，加速轮廓子生成器提取有效特征，通过拼接的方式保证了两种特征都能作用与结果，从而生成高质量、可用于人脸识别的图像。本发明的方法保留了局部特征和全局特征，生成正脸图片具有准确高效的特点。

技术领域

本发明涉人脸生成技术领域，尤其涉及一种基于生成对抗网络的侧脸图片生成正脸图片的方法。

背景技术

当前人脸识别系统以及人脸数据库都是以正脸图片作为标准数据，因此经过训练后的人脸识别模型对正脸的识别度有较好的表现，但是对输入为侧脸的数据表现极差。而在现实生活中，摄像头所捕获的数据多数为侧脸数据，无法直接应用于人脸识别系统。特别是对于安防领域或是智能家居领域。对于前者而言，公共场所会部署大量的摄像头用于搜寻、记录犯罪份子，而犯罪份子会刻意的躲避摄像头，使得摄像头无法捕获或者仅仅捕获到他的侧脸，而安防系统中的人脸识别模块可能会忽略掉侧脸数据；同样的，随着智能家居领域的不断发展，越来越多的物联网设备会安装在家居环境中，出于对个人隐私保护考虑，大部分设备都会搭配人脸识别模块，如果每一个设备使用时都需要用户正面设备，这也会给用户带来极大的不便。

侧脸问题由于信息的缺失本身就是病态的问题，传统的方法是将侧脸数据和正脸数据同时训练，提取侧脸和正脸的公共特征，但是这一方法无法给出侧脸对应的正脸图像，只能给出侧脸的特征，特征无法输入其他成熟的人脸识别模块；另一种方法是通过侧脸数据生成正脸，这一类方法采用的是全局特征或者局部加全局特征来生成正脸图片，使用全局特征会导致生成图片的细节较差，而采用局部加全局特征训练时很容易导致局部特征无效，从而导致模型生成的图像并不能包含全部的信息。

综上，现阶段方法的缺陷主要包括：

1.基于特征提取的方法无法应用于成熟的人脸识别模块；

2.基于特征生成的方法会造成细节的缺失或是特征的无效。

发明内容

针对现有技术中存在的问题，本发明提供了一种基于生成对抗网络的侧脸图片生成正脸图片的方法。

为实现上述目的，本发明采用的技术方案是：一种基于生成对抗网络的侧脸图片生成正脸图片的方法，具体包括以下步骤：

(1)收集侧脸图片和对应的正脸图片，将每张侧脸图片I^P划分成侧脸感官图片集将对应的正脸图片I^F划分成正脸感官图片集并标记出正脸的轮廓特征点K^F和对应的感官位置L^F；所述感官包括：左眼、右眼、嘴巴和鼻子；

(2)将侧脸图片I^P和侧脸感官图片集分别输入生成对抗网络中，训练生成对抗网络，当判别器损失函数L_{Discriminator}和生成器损失函数L_Generator均收敛时，完成对生成对抗网络的训练；

(3)再次收集侧脸图片，输入到训练好的生成对抗网络中，输出正脸图片。

进一步地，所述生成对抗网络包括感官生成器、轮廓生成器、融合网络、正脸感官位置预测网络、正脸轮廓特征点预测网络和判别器；所述感官生成器、轮廓生成器均与融合网络连接，所述融合网络与判别器连接，所述轮廓生成器分别与正脸感官位置预测网络、正脸轮廓特征点预测网络连接。

进一步地，所述生成对抗网络的训练过程具体包括如下步骤：

(2.1)将侧脸图片I^P输入轮廓生成器中，生成预测正脸轮廓图片将侧脸感官图片集输入感官生成器中，生成预测正脸感官图片集