[发明专利]图像间脸部交换的方法、装置、系统和计算机程序产品

权利要求书

1.一种在图像之间实现脸部交换的方法，包括以下步骤：

提取第一图像中的脸部图像作为脸部内容图像和提取第二图像中的脸部图像作为脸部风格图像；

经由深度卷积神经网络从所述脸部内容图像得到原始内容特征作为第一内容特征和从所述脸部风格图像得到原始风格特征作为第一风格特征，其中与所述原始风格特征相比，所述原始内容特征从所述深度卷积神经网络的较高卷积层得到；

基于预定义的损失函数，根据所述第一内容特征和第一风格特征，从初始的脸部风格迁移图像开始来迭代地优化，所述迭代地优化包括：将脸部风格迁移图像输入到所述深度卷积神经网络，从所述深度卷积神经网络不同的卷积层输出该脸部风格迁移图像的第二内容特征和第二风格特征，其中与所述第二风格特征相比，所述第二内容特征从所述深度卷积神经网络的较高卷积层得到，基于所述预定义的损失函数计算脸部风格迁移图像的第二内容特征和第二风格特征相对于第一内容特征和第一风格特征的内容损失和风格损失；根据计算的内容损失和风格损失的加权和来优化脸部风格迁移图像以得到经修改的脸部风格迁移图像，以及将经修改的脸部风格迁移图像作为迭代变量用于下一次迭代中，且在执行所述迭代优化预定次数后，输出经优化的脸部风格迁移图像；以及

通过用所述经优化的脸部风格迁移图像与第二图像进行融合，以生成包含经风格迁移的脸部的第三图像，

其中用所述经优化的脸部风格迁移图像与第二图像进行融合包括：

－ 根据从所述经优化的脸部风格迁移图像获得的脸部特征点向量计算第一二维凸包边界，根据从第二图像获得的脸部特征点向量计算第二二维凸包边界；

－ 获得第一二维凸包边界内的区域作为第一脸部掩膜，获得第二二维凸包边界内的区域作为第二脸部掩膜，将第一和第二脸部掩膜取并集，得到融合后的脸部掩膜；

－ 在分别对脸部风格迁移图像和第二图像进行高斯模糊后通过计算两个图像的亮度值比而获得每个像素点的亮度比例系数，该亮度比例系数比例被用于对脸部风格迁移图像进行亮度值校正；和

－ 以融合后的脸部掩膜做参考，将脸部风格迁移图像中经亮度值校正的脸部区域融合至第二图像的对应区域。

2.根据权利要求1所述的方法，其中所述深度卷积神经网络的卷积层的数量为8个。

3.根据权利要求2所述的方法，包括从深度卷积神经网络的第7卷积层得到所述原始内容特征，而从其第1、3、5卷积层得到所述原始风格特征。

4.根据权利要求1到3中任一项所述的方法，其中所述预定义的损失函数包括用于计算内容损失的内容损失函数和用于计算风格损失的风格损失函数，且所述内容损失和风格损失被分别用于优化所述脸部风格迁移图像。

5.根据权利要求4所述的方法，还包括计算所述内容损失和风格损失的加权和作为总的损失，以及当所述总的损失达到某一阈值时，输出经优化的脸部风格迁移图像。

6.根据权利要求1到3中任一项所述的方法，其中将VGG19模型的预训练参数作为所述深度卷积神经网络的初始预训练参数。

7.根据权利要求1所述的方法，其中所述预定次数是100次。

8.根据权利要求1所述的方法，其中用脸部风格迁移图像与第二图像进行融合之前还包括：以第二图像作为参考对所得到的脸部风格迁移图像进行旋转、缩放和平移，以实现脸部对齐。