[发明专利]一种端到端的高分辨率多特征提取的人脸交换方法

说明书

本发明公开了一种端到端的高分辨率多特征提取的人脸交换方法。其步骤为：1)对输入视频进行解帧，图像人脸对齐并提取面部特征点；2)构建网络模型；3)训练网络和更新参数；4)对生成人脸进行融合替换。本发明具有以下优点：使用了一种端到端的高分辨率多特征提取的人脸交换方法，能够生成目标神态表情；采用自编码器模型和残差结构对人脸的特征进行学习，可以提升人脸的细节；采用多特征的卷积神经网络的方法，能够捕捉到人脸的的更多特征，构造的神经网络模型中使用LeakyReLU激活函数提升网络性能；对于产生的结果，使用泊松融合颜色转换等方法使效果更加自然。

技术领域

本发明涉及人脸交换和深度学习领域，尤其涉及一种端到端的高分辨率多特征提取的人脸交换方法。

背景技术

人脸交换技术一直是研究人脸相关技术领域的一大热点。换脸主要应用在娱乐相关或数据生成等领域，其目的为将人脸从源图像转换到目标图像，它可以无缝地替换目标图像中出现的人脸，并产生真实的结果。但是在实际的使用中，目前的方法达到的精度和真实感，并不能满足人们对于人脸交换的预期结果。

人脸交换方法主要分为传统方法和目前的基于深度学习的方法。传统的方法主要是依赖底层的三维人脸特征进行转移和控制面部外观。并且根据输入的图像来估计脸型，将生成的三维人脸特征和输入的图片进行拟合对齐。这种方法需要过程繁琐，需要花费大量的时间，并且生成的效果差。

基于深度学习的方法主要有基于自编码器模型的方法和基于对抗神经网络的方法。对抗神经网络是一种无监督表示学习，主要用于生成自然场景图片。2014年MehdiMirza等人提出的CGAN，在训练集中加入监督信息，能够生成更加逼真图像。2018年RyotaNatsume提出分离人脸的特征到隐空间变量，这些方法将人脸的身份成分从剩余的特征中分解出来，将身份编码为潜在特征向量的表现形式，但是这种方法会导致显著的信息丢失，限制了人脸的识别能力。基于生成对抗网络的方法需要大量的人脸数据去拟合神经网络，获取大量的人脸数据集非常困难，并且在训练的过程中容易过拟合。

基于自编码器(Autoencoder，AE)的方法，是一种利用反向传播算法使得输出值等于输入值的神经网络，它先将输入压缩成潜在空间表征，然后通过这种表征来重构输出。自编码器在其研究早期是为解决表征学习中的“编码器问题(encoder problem)”，即基于神经网络的降维问题而提出的联结主义模型的学习算法。1985年，David H.Ackley、GeoffreyE.Hinton和Terrence J.Sejnowski在玻尔兹曼机上对自编码器算法进行了首次尝试，并通过模型权重对其表征学习能力进行了讨论。自编码器包含编码器(encoder)和解码器(decoder)两部分。按学习范式，自编码器可以被分为收缩自编码器(undercompleteautoencoder)、正则自编码器(regularized autoencoder)和变分自编码器(VariationalAutoEncoder,VAE)，其中前两者是判别模型、后者是生成模型。在2018年，网络上出现了Deepfake应用，用于人脸的替换，能够生成以假乱真的图片。但是生成图像的清晰度不足，对于大角度的人脸生成效果差。以上提到的方法在实际使用中具有一定的复杂性。

发明内容

本发明的目的在于克服生成人脸分辨率低的缺点，提供一种端到端的高分辨率多特征提取的人脸交换方法，其需要的数据集少，并且使用多种技术，实现高分辨率逼真的人脸交换结果。

端到端的高分辨率多特征提取的人脸交换方法包括以下步骤：

1、对输入视频进行解帧，标定人脸特征点，得到人脸的面部范围；选择人脸关键点，根据人脸关键点的坐标值进行人脸对齐操作；

2、构建深度神经网络，包括一个编码器和两个解码器；所述编码器包括多个特征提取器，并将多个特征提取器的输出叠加；两个解码器均包括交替连接的多个上采样层和残差块；