[发明专利]脸部图像融合方法及装置、存储介质、电子设备

权利要求书

1.一种脸部图像融合方法，其特征在于，包括：

根据待融合脸的姿态参数对预设的三维人脸模型进行重建，并根据重建后的三维人脸模型以及模板脸的三维姿态信息，生成与所述模板脸具有相近姿态的转脸图像，其中，所述模板脸为预设的不同风格的脸部模型；

根据所述模板脸的脸部关键点以及所述转脸图像的脸部关键点，计算所述转脸图像与所述待融合脸的关键点集；

根据所述关键点集对所述模板脸和所述转脸图像进行融合生成第一版融合脸；

将所述第一版融合脸放回至所述模板脸的脸部区域处，得到第二版融合脸。

2.根据权利要求1所述的脸部图像融合方法，其特征在于，所述脸部图像融合方法还包括：

提取所述待融合脸的脸部关键点；其中，所述待融合脸的脸部关键点包括脸部轮廓关键点以及五官关键点；

计算所述待融合脸的脸部关键点以及所述预设的三维人脸模型的平均脸的关键点之间的投影误差；

根据所述待融合脸的脸部关键点以及所述预设的三维人脸模型的平均脸的关键点之间的投影误差，计算所述待融合脸的姿态参数。

3.根据权利要求2所述的脸部图像融合方法，其特征在于，根据待融合脸的姿态参数对预设的三维人脸模型进行重建，包括：

基于预设的正交投影模型以及所述姿态参数，计算所述预设的三维人脸模型的线性加权系数；

根据所述线性加权系数，对所述预设的三维人脸模型进行重建，得到重建后的三维人脸模型。

4.根据权利要求1所述的脸部图像融合方法，其特征在于，所述重建后的三维人脸模型中，包括所述待融合脸的三维姿态信息以及人脸贴图信息；

其中，所述根据重建后的三维人脸模型以及模板脸的三维姿态信息，生成与所述模板脸具有相近姿态的转脸图像，包括：

根据所述待融合脸的三维姿态信息以及所述重建后的三维人脸模型，对空间三角面进行投影，得到所述待融合脸与所述人脸贴图信息中的三角面的对应关系；

基于所述待融合脸与所述人脸贴图信息中的三角面的对应关系，利用仿射变换将所述待融合脸中的纹理信息填充至所述人脸贴图信息中；

根据重建后的三维人脸模型、所述模板脸的三维姿态信息以及填充后的人脸贴图信息，生成与所述模板脸具有相近姿态的转脸图像。

5.根据权利要求4所述的脸部图像融合方法，其特征在于，所述脸部图像融合方法还包括：

判断所述人脸贴图信息中的三角面中是否存在区域纹理缺失空洞和/或侧脸纹理缺失；

在判断所述人脸贴图信息中的三角面中是否存在区域纹理缺失和/或侧脸纹理缺失时，利用对称填充和/或空洞补全的方式对区域纹理缺失和/或侧脸纹理缺失的三角面进行修复。

6.根据权利要求1所述的脸部图像融合方法，其特征在于，所述根据所述模板脸的脸部关键点以及所述转脸图像的脸部关键点，计算所述转脸图像与所述待融合脸的关键点集，包括：

提取所述模板脸的脸部关键点以及所述转脸图像的脸部关键点；

计算从所述模板脸的脸部关键点到所述转脸图像的脸部关键点之间的相似变换矩阵，并根据所述相似变换矩阵对所述转脸图像的脸部关键点以及所述模板脸的脸部关键点进行对齐；

根据对齐后的转脸图像的脸部关键点以及模板脸的脸部关键点，计算所述转脸图像与所述待融合脸的关键点集，以及与所述关键点集对应的三角剖分。

7.根据权利要求6所述的脸部图像融合方法，其特征在于，所述根据对齐后的转脸图像的脸部关键点以及模板脸的脸部关键点，计算所述转脸图像与所述待融合脸的关键点集，以及与所述关键点集对应的三角剖分，包括：

根据预设的收缩比例系数以及所述待融合脸的脸部关键点，计算收缩版轮廓点；

根据所述收缩版轮廓点、所述对齐后的转脸图像的脸部关键点以及模板脸的脸部关键点，计算所述转脸图像与所述待融合脸的关键点集，以及与所述关键点集对应的三角剖分。