[发明专利]脸部图像融合方法及装置、存储介质、电子设备

说明书

本公开是关于一种脸部图像融合方法及装置、存储介质、电子设备，涉及图像处理技术领域，该方法包括：根据待融合脸的姿态参数对预设的三维人脸模型进行重建，并根据重建后的三维人脸模型以及模板脸的三维姿态信息，生成与所述模板脸具有相近姿态的转脸图像，其中，所述模板脸为预设的不同风格的脸部模型；根据所述模板脸的脸部关键点以及所述转脸图像的脸部关键点，计算所述转脸图像与所述待融合脸的关键点集；根据所述关键点集对所述模板脸和所述转脸图像进行融合生成第一版融合脸；将所述第一版融合脸放回至所述模板脸的脸部区域处，得到第二版融合脸。本公开提高了融合效率。

技术领域

本发明实施例涉及图像处理技术领域，具体而言，涉及一种脸部图像融合方法、脸部图像融合装置、计算机可读存储介质以及电子设备。

背景技术

将用户人脸图片移换到其他的人物或角色脸部模板图片中，从而生成兼具用户五官特征和模板角色外貌纹理信息的图片，该操作称为换脸或人脸融合。

目前的人脸融合或换脸方法，可以主要分为传统图像变换处理和深度学习模型生成两类。其中，传统图像变换处理，是通过手工地使用图像编辑工具进行脸部抠图和摆放；深度学习模型生成的方法，可以通过基于人脸检测与关键点定位结果的对人脸区域进行提取、变形对齐、颜色融合的二维图像变换处理的方法，在一定程度上实现人脸融合的自动化。

但是，上述方法存在如下缺陷：一方面，手工地使用图像编辑工具进行脸部抠图和摆放，对脸部轮廓和肤色适配的处理都比较粗糙，进而导致融合结果的精确度较低，且融合过程难以自动化实现；另一方面，二维图像变换处理的方法不能有效处理人脸姿态的差异性，非正脸姿态下的结果往往会出现五官扭曲过度的问题；再一方面，由于轮廓、姿态差异的影响，对应的脸部图像内容也差异较大，简单地融合会引起突兀的高亮和不正常的渐变色块效果。

因此，需要提供一种新的脸部图像融合方法及装置。

需要说明的是，在上述背景技术部分发明的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明的目的在于提供一种脸部图像融合方法、脸部图像融合装置、计算机可读存储介质以及电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的融合结果的精确度较低的问题。

根据本公开的一个方面，提供一种脸部图像融合方法，包括：

根据待融合脸的姿态参数对预设的三维人脸模型进行重建，并根据重建后的三维人脸模型以及模板脸的三维姿态信息，生成与所述模板脸具有相近姿态的转脸图像，其中，所述模板脸为预设的不同风格的脸部模型；

根据所述模板脸的脸部关键点以及所述转脸图像的脸部关键点，计算所述转脸图像与所述待融合脸的关键点集；

根据所述关键点集对所述模板脸和所述转脸图像进行融合生成第一版融合脸；

将所述第一版融合脸放回至所述模板脸的脸部区域处，得到第二版融合脸。

在本公开的一种示例性实施例中，所述脸部图像融合方法还包括：

提取所述待融合脸的脸部关键点；其中，所述待融合脸的脸部关键点包括脸部轮廓关键点以及五官关键点；

计算所述待融合脸的脸部关键点以及所述预设的三维人脸模型的平均脸的关键点之间的投影误差；

根据所述待融合脸的脸部关键点以及所述预设的三维人脸模型的平均脸的关键点之间的投影误差，计算所述待融合脸的姿态参数。

在本公开的一种示例性实施例中，根据待融合脸的姿态参数对预设的三维人脸模型进行重建，包括：

基于预设的正交投影模型以及所述姿态参数，计算所述预设的三维人脸模型的线性加权系数；