[发明专利]一种端到端的高分辨率多特征提取的人脸交换方法

权利要求书

1.一种端到端的高分辨率多特征提取的人脸交换方法，其特征在于，包括以下步骤：

1)对输入视频进行解帧，标定人脸特征点，得到人脸的面部范围；选择人脸关键点，根据人脸关键点的坐标值进行人脸对齐操作；

2)构建深度神经网络，包括一个编码器和两个解码器；所述编码器包括多个特征提取器，并将多个特征提取器的输出叠加；两个解码器均包括交替连接的多个上采样层和残差块；

所述的步骤2)具体为：

构建深度神经网络，包括输入层、隐藏层和输出层；所述隐藏层由一个编码器和两个相同的解码器组成；所述编码器由4个特征提取器、全连接层和上采样层组成，每一个特征提取器由r个下采样层组成，设置3种不同尺寸大小的卷积滤波器，分别为3×3，5×5，7×7，对于5×5的卷积滤波器，采用步长为2的空洞卷积；

将经步骤1)预处理后的图像通过输入层同时输入到4个特征提取器中，每一个特征提取器输出一个特征向量，将4个特征向量在通道上做叠加，输入到全连接层中，再经上采样层后输出隐空间变量；所述解码器包括多个上采样层和残差块，每一个上采样层之后连接一个残差块，最后一个残差块连接一个卷积层，两个解码器的输入为编码器的输出；

所述深度神经网络采用LeakyReLU激活函数，公式如下：

f(x)表示输入的LeakyReLU函数，x表示输入值，a为(0,1)区间内的固定参数；

3)采集目标人脸样本和素材人脸样本作为训练样本，对深度神经网络进行训练，训练的过程采用像素损失函数和结构相似性损失函数，所述像素损失函数表达式为：

其中，x代表生成的图像，y代表原始图像，对每一个像素进行取L1距离作为像素损失；

所述结构相似性损失函数表达式为：

SSIM(X,Y)＝L(X,Y)×C(X,Y)×S(X,Y)

其中，L(X,Y)为亮度对比因子，C(X,Y)为对比度因子，S(X,Y)为结构对比因子；

采用反向传递算法对深度神经网络中的权重进行更新，得到训练好的编码器和两个解码器；将两个解码器的位置对调，得到人脸交换的深度神经网络模型；

4)将待交换的目标人脸和素材人脸的图片序列输入到人脸交换的深度神经网络模型中，生成目标人脸的替换人脸，对生成的替换人脸进行融合以及颜色转换，得到换脸之后的结果。

2.根据权利要求1所述的一种端到端的高分辨率多特征提取的人脸交换方法，其特征在于，所述的步骤1)具体为：

1.1)人脸检测：

从输入视频中拆解出包含人脸的目标图像帧，得到目标图像和候选框，并采用边框回归的方法校正候选框；对候选框中的人脸上的特征点进行标定，得到多个人脸特征点坐标；对人脸特征点采用级联回归，其中t表示级联序号，rt(·,·)表示当前级的回归器，I为输入图像，为上一级回归器更新之后的特征形状；对于一张目标图像中的人脸，一共标定68个特征点；

1.2)人脸对齐：

选择鼻子、左眼、右眼以及嘴唇部分的基准特征点为人脸关键点，根据人脸关键点坐标值将步骤1.1)标定后的人脸通过仿射变换进行人脸对齐，并截取仅包含人脸的图像区域，人脸关键点坐标也根据仿射变换矩阵重新映射到新的坐标。

3.根据权利要求1所述的一种端到端的高分辨率多特征提取的人脸交换方法，其特征在于，所述的步骤3)具体为：

搜集拍摄的视频，用ffmpeg将视频分解为人脸图像作为训练样本，包括目标人脸样本和素材人脸样本，通过步骤1)对训练样本进行预处理；

将步骤2)建立的深度神经网络采用MSRA权重初始化，该初始化是均值为0，方差为2/n的高斯分布；将预处理后的目标人脸样本和素材人脸样本作为训练样本同时输入到深度学习网络中进行训练。

4.根据权利要求3所述的一种端到端的高分辨率多特征提取的人脸交换方法，其特征在于，所述的步骤4)为：

4.1)将目标人脸和素材人脸的图片序列输入到人脸交换的深度神经网络模型中，生成替换人脸，经仿射变换矩阵重新进行人脸对齐操作；

4.2)根据目标人脸的面部范围，对对齐后的人脸进行泊松融合，公式如下：

4.3)对融合之后图像进行颜色转换，将源图像转换lαβ色彩空间，对图像的每个像素减去所有像素的均值，得到的新的像素值与参考空间上的像素值的标准差做乘积，得到的新像素加上参考空间像素值的均值，最终得到换脸之后的结果。