[发明专利]图像间脸部交换的方法、装置、系统和计算机程序产品

说明书

公开了在图像之间实现脸部交换的方法和装置的实施例。该方法包括：提取第一图像中的脸部内容图像和第二图像中的脸部风格图像；经由深度卷积神经网络从所述脸部内容图像得到原始内容特征和从所述脸部风格图像得到原始风格特征，其中与所述原始风格特征相比，所述原始内容特征从所述深度卷积神经网络的较高卷积层得到；基于预定义的损失函数，根据所述原始内容特征和原始风格特征，从初始的脸部风格迁移图像开始来迭代地优化，且在执行所述迭代优化预定次数后，输出经优化的脸部风格迁移图像；以及通过用脸部风格迁移图像与第二图像进行融合，以生成包含经风格迁移的脸部的第三图像。通过对脸部区域进行风格迁移，使得所生成的经脸部交换的图像给用户以更为自然、和谐的感受，因而改善了用户体验。

技术领域

本公开总地涉及图像处理，更具体而言，涉及一种用于实现图像之间的脸部交换的方法、装置、系统和计算机程序产品。

背景技术

脸部特征识别技术在本世纪初得到了全世界的广泛关注。在安全和娱乐领域，该技术获得了巨大的发展空间。越来越多的公司和研究机构（如谷歌、科大讯飞、腾讯等）投入大量资源对该技术进行深入研究，且开发的产品也多种多样。脸部交换是脸部特征识别技术的一种应用，国内外关于脸部交换的应用产品目前已经可以实现真实照片之间的脸部交换。

由于这些脸部交换的应用产品大多聚焦于图像中脸部位置的脸部特征交换，所以当涉及交换的两幅图像之间存在风格差异时，实现脸部交换后所生成的图像给人以拼接过渡生硬、拼接痕迹明显、画风违和的感觉。这使得用户的使用体验较差。

发明内容

本公开提供用于在图像之间实现脸部交换的方法和装置、系统、计算机程序产品。

根据本公开的一方面，提供了一种用于在图像之间实现脸部交换的方法，包括以下步骤：提取第一图像中的脸部内容图像和第二图像中的脸部风格图像；经由深度卷积神经网络从所述脸部内容图像得到原始内容特征和从所述脸部风格图像得到原始风格特征，其中与所述原始风格特征相比，所述原始内容特征从所述深度卷积神经网络的较高卷积层得到；基于预定义的损失函数，根据所述原始内容特征和原始风格特征，从初始的脸部风格迁移图像开始来迭代地优化，且在执行所述迭代优化预定次数后，输出经优化的脸部风格迁移图像；以及通过用脸部风格迁移图像与第二图像进行融合，以生成包含经风格迁移的脸部的第三图像。

可选地，深度卷积神经网络的卷积层的数量为8个。

可选地，该方法包括从深度卷积神经网络的第7卷积层得到所述内容特征，而从其第1、3、5卷积层得到所述风格特征。

可选地，预定义的损失函数包括用于计算内容损失的内容损失函数和用于计算风格损失的风格损失函数，且所述内容损失和风格损失被分别用于优化所述脸部风格迁移图像。

可选地，该方法包括计算所述内容损失和风格损失的加权和作为总的损失，当所述总的损失达到某一阈值时，输出经优化的脸部风格迁移图像。

可选地，将VGG19模型的预训练参数作为所述深度卷积神经网络的初始预训练参数。

可选地，所述预定次数是100次。

可选地，所述迭代地优化包括：使用深度卷积神经网络得到脸部风格迁移图像的内容特征和风格特征；基于所述预定义的损失函数计算脸部风格迁移图像的内容特征和风格特征相对于原始内容特征和原始风格特征的内容损失和风格损失；根据计算的内容损失和风格损失的加权和来优化脸部风格迁移图像以得到经修改的脸部风格迁移图像；以及将经修改的脸部风格迁移图像作为迭代变量用于下一次迭代中。

可选地，该方法还包括：以肖像画作为参考对所得到的脸部风格迁移图像进行旋转、缩放和平移，以实现脸部对齐。

可选地，其中用脸部风格迁移图像与第二图像进行融合之前还包括：以第二图像作为参考对所得到的脸部风格迁移图像进行旋转、缩放和平移，以实现脸部对齐。