[发明专利]一种基于局部遮挡条件下的图像换脸方法

说明书

本发明提供了一种基于局部遮挡条件下的图像换脸方法，输入人脸图像和目标人脸图像由二维特征点进行描述，在输入图像和目标图像上做相关人脸区域的划分，建立起人脸区域对应的像素特征函数，并在人脸区域迁移的过程中无缝融合消除拼接边界。利用图像分层叠加的思路，通过拉普拉斯金字塔重建来合成最终输出图像。本发明最终合成的图像无明显修改拼接痕迹。通过与目前图像换脸常用的泊松融合方法对比，很好的还原遮挡物体边缘的图像效果，特别是当遮挡物体在人脸区域有投射阴影的时候，遮挡物边缘区域细节与泊松融合方法对比差异明显，整体图像换脸后的图像效果协调自然，无明显瑕疵。

技术领域

本发明涉及图像处理和计算机图形学技术领域，主要涉及一种基于局部遮挡条件下的目标图像换脸方法。

背景技术

图像换脸技术是指将输入图像中的用户人脸自动移植到目标图像中，替换掉目标图像中的指定人脸，从而使图像人脸自动融合到目标图像中。图像换脸的过程要求保持输入图像的人脸容貌特征及表情特征不变，但要与目标人脸姿态相匹配，并且最终合成的人脸图像要有自然的整体效果，即要求换脸后的输入人脸的肤色、妆容以及光照环境能够与目标图像相匹配。这一技术可以使输入图像的用户具有代入感，增加图像交互式体验。目前该技术存在的主要问题是目标人脸图像可能存在一些局部遮挡，例如眼镜、头发、衣物或配饰等，由于在人脸图像中的局部遮挡具有复杂性和不可预料性，基于局部遮挡条件下的图像换脸技术需要还原遮挡物体与人脸过渡区域的图像效果，提高目标人脸图像之间的移植鲁棒性，使得到的合成照片真实感更强。

发明内容

为了克服现有技术的不足，本发明提供一种基于局部遮挡条件下的图像换脸方法。在给定人脸替换的目标图像的条件下，将输入人脸图像的主要面部区域进行人脸的替换。由于输入人脸图像和目标人脸图像是由二维特征点进行描述的，在进行人脸替换时需要考虑图像的空间姿态对齐问题，依据人脸低分辨率三维模型进行图像姿态的调整。在输入图像和目标图像上做相关人脸区域的划分，建立起人脸区域对应的像素特征函数，并在人脸区域迁移的过程中无缝融合消除拼接边界。在进行人脸图像的换脸过程中，由于目标图像中可能存在遮挡条件，换脸过程需要保持遮挡物不变，并替换遮挡物后的人脸区域，因此在进行人脸替换时需要充分考虑遮挡物叠加的平滑性。本发明利用图像分层叠加的思路，通过拉普拉斯金字塔重建来合成最终输出图像，并对遮挡物所产生的混合边缘和投射阴影进行优化，得到的换脸后的输出图像很好的还原了目标图像的效果，整体效果协调自然。

本发明解决其技术问题所采用的技术方案的步骤如下：

步骤1：对输入图像及目标图像进行预处理；

对输入图像I_S及目标图像I_T中的遮挡物进行标注，然后利用标注点对遮挡物做遮挡物提取，即将遮挡物按其轮廓分割，分别对输入图像I_S及目标图像I_T进行遮挡物及人脸区域分割，无遮挡物时,则不进行遮挡物分割只进行人脸区域分割,当人脸图像存在人脸本身之外的图像遮挡物时，以遮挡物外形为分割轮廓,将遮挡物进行抠图分割，由此分割出遮挡物区域及人脸区域；人脸区域的分割以人脸外形的平滑轮廓为分割标准，按面部轮廓进行人脸区域抠图提取,保证将面部主要器官如眼睛、眉毛、鼻嘴区域包括在人脸区域内；人脸区域划分为无遮挡区域B₀与遮挡区域B_oc；

步骤2：采用基于图像的人脸三维低分辨率模型进行人脸姿态的配准，利用双线性模型优化算法建立输入图像人脸三维的低分辨率模型F_S与目标图像人脸三维的低分辨率模型F_T，其中人脸低分辨率模型的建立步骤如下：

标注输入图像I_S及目标图像I_T中的人脸特征点及FaceWarehouse数据库中的三维人脸模型中的人脸特征点，由此给定FaceWarehouse数据库中的三维人脸模型的张量核Cr，图像中人脸的三维几何模型F表示为：