[发明专利]基于人脸几何信息的人脸编辑补全方法及装置

权利要求书

1.一种基于人脸几何信息的人脸编辑补全方法，其特征在于包括：

基于预先构建的人脸几何估计模型并利用包含遮挡区域的目标人脸图像，获得人脸几何信息；

基于预先构建的人脸补全网络模型并利用所述目标人脸图像与所述人脸几何信息，生成第一完整人脸图像；

将所述第一完整人脸图像中的特定区域替换为所述目标人脸图像中的未遮挡区域，并对所述第一完整人脸图像与所述未遮挡区域进行图像融合，得到第二完整人脸图像；

其中，所述人脸几何估计模型和人脸补全网络模型均是基于深度神经网络并利用机器学习算法所构建的神经网络模型；所述特定区域是所述第一完整人脸图像中与所述目标人脸图像的未遮挡区域对应的图像区域；

所述人脸补全网络模型包括编码网络、第一解码网络以及可选的第二解码网络；“基于预先构建的人脸补全网络模型，并利用所述目标人脸图像与所述人脸几何信息，生成第一完整人脸图像”的步骤包括：

利用所述编码网络并根据所述目标人脸图像与人脸几何信息，生成所述目标人脸图像的人脸特征向量；

利用所述第一解码网络并根据所述人脸特征向量生成第一完整人脸图像；以及可选地，

根据所述人脸特征向量提取所述目标人脸图像中受遮挡区域对应的遮挡特征向量；利用所述第二解码网络并根据所述遮挡特征向量，生成遮挡图像；

当所述人脸补全网络模型包括编码网络和第一解码网络时，在“基于预先构建的人脸补全网络模型，并利用所述目标人脸图像与所述人脸几何信息，生成第一完整人脸图像”的步骤之前，所述方法还包括按如下式所示的损失函数L_loss对人脸几何估计模型进行网络训练：

L_loss＝L_q

其中，所述L_q是所述第一解码网络对应的损失函数；

当所述人脸补全网络模型包括编码网络、第一解码网络和第二解码网络时，在“基于预先构建的人脸补全网络模型，并利用所述目标人脸图像与所述人脸几何信息，生成第一完整人脸图像”的步骤之前，所述方法还包括按如下式所示的损失函数L_loss对人脸几何估计模型进行网络训练：

L_loss＝L_q+L_o

其中，所述L_o是所述第二解码网络对应的损失函数。

2.根据权利要求1所述的基于人脸几何信息的人脸编辑补全方法，其特征在于，在“基于预先构建的人脸补全网络模型并利用所述目标人脸图像与所述人脸几何信息，生成第一完整人脸图像”的步骤之前，所述方法还包括：

基于预设的人脸属性修改信息对所述人脸几何信息进行修改；

相应地，“基于预先构建的人脸补全网络模型，并利用所述目标人脸图像与所述人脸几何信息，生成第一完整人脸图像”的步骤是基于所述人脸补全网络模型并利用修改后的人脸几何信息生成第一完整人脸图像。

3.根据权利要求1所述的基于人脸几何信息的人脸编辑补全方法，其特征在于，“利用所述编码网络并根据所述目标人脸图像与人脸几何信息，生成所述目标人脸图像的人脸特征向量”的步骤包括：将所述目标人脸图像和人脸几何信息进行数据串联得到整体数据；

利用所述编码网络并根据所述整体数据生成所述人脸特征向量。