[发明专利]一种基于局部遮挡条件下的图像换脸方法

摘要

本发明提供了一种基于局部遮挡条件下的图像换脸方法，输入人脸图像和目标人脸图像由二维特征点进行描述，在输入图像和目标图像上做相关人脸区域的划分，建立起人脸区域对应的像素特征函数，并在人脸区域迁移的过程中无缝融合消除拼接边界。利用图像分层叠加的思路，通过拉普拉斯金字塔重建来合成最终输出图像。本发明最终合成的图像无明显修改拼接痕迹。通过与目前图像换脸常用的泊松融合方法对比，很好的还原遮挡物体边缘的图像效果，特别是当遮挡物体在人脸区域有投射阴影的时候，遮挡物边缘区域细节与泊松融合方法对比差异明显，整体图像换脸后的图像效果协调自然，无明显瑕疵。

主权项

1.一种基于局部遮挡条件下的图像换脸方法，其特征在于包括下述步骤：/n步骤1：对输入图像及目标图像进行预处理；/n对输入图像I_S及目标图像I_T中的遮挡物进行标注，然后利用标注点对遮挡物做遮挡物提取，即将遮挡物按其轮廓分割，分别对输入图像I_S及目标图像I_T进行遮挡物及人脸区域分割，无遮挡物时,则不进行遮挡物分割只进行人脸区域分割,当人脸图像存在人脸本身之外的图像遮挡物时，以遮挡物外形为分割轮廓,将遮挡物进行抠图分割，由此分割出遮挡物区域及人脸区域；人脸区域的分割以人脸外形的平滑轮廓为分割标准，按面部轮廓进行人脸区域抠图提取,保证将面部主要器官如眼睛、眉毛、鼻嘴区域包括在人脸区域内；人脸区域划分为无遮挡区域B₀与遮挡区域B_oc；/n步骤2：采用基于图像的人脸三维低分辨率模型进行人脸姿态的配准，利用双线性模型优化算法建立输入图像人脸三维的低分辨率模型F_S与目标图像人脸三维的低分辨率模型F_T，其中人脸低分辨率模型的建立步骤如下：/n标注输入图像I_S及目标图像I_T中的人脸特征点及FaceWarehouse数据库中的三维人脸模型中的人脸特征点，由此给定FaceWarehouse数据库中的三维人脸模型的张量核Cr，图像中人脸的三维几何模型F表示为：/nF＝R×(Cr×ω_id×ω_exp)+T (1)/n其中：ω_id与ω_exp分别为当前人脸的身份特征向量与表情特征向量，R与T分别表示当前人脸在空间中的旋转矩阵与平移向量，投影后的人脸表面每个像素的位置与该点的深度以及相机焦距有关，投影计算表示为：/n /n其中f表示相机焦距，F_x，F_y，F_z分别表示三维几何模型F中顶点的x坐标，y坐标与z坐标，P_x与P_y表示三维几何模型F中顶点投影后的二维坐标，对三维几何模型F投影后表示为：/nF_2D＝Q(f)·(R·(Cr×ω_id×ω_exp)+T (3)/n其中Q(f)表示公式(2)中的投影集合形式，F_2D表示对三维几何模型F进行投影后的人脸模型函数，{q_i}为输入图像中人脸特征点的2D坐标集合，则由{q_i}与F_2D建立模型特征目标函数：/n /n其中i为坐标集{q_i}中第i个人脸特征点，R，T，f，ω_id，ω_exp为未知参数，L表示特征点的个数，从二维特征点重建三维人脸模型即求该目标函数最小化的最优解：/n /n其中R^*，T^*，f^*，分别表示R，T，f，ω_id，ω_exp参数的待求最佳值，将待求解的变量分为四组，即{R,T}，{f}，{ω_id}以及{ω_exp}，对四组变量进行初始化，固定其中任意三组变量，仅对一组变量进行优化求解，更新所求得的一组变量值后，再依次对其余三组变量进行循环迭代，将已求出的此组变量进行固定，对其余待求变量进行求解，在对ω_id与ω_exp变量进行求解时，加入关于ω_id与ω_exp的规则化项，进一步对ω_id与ω_exp约束，以避免出现畸形人脸；ω_id与ω_exp的规则化项为：/n /n /n其中E_{reg_id}、E_{reg_exp}分别表示ω_id与ω_exp的规则化项，分别表示ω_id与ω_exp的数学期望，cov^-1(U_id)、cov^-1(U_exp)分别表示ω_id与ω_exp的方差；/n加入规则化项后的人脸身份特征ω_id与表情特征ω_exp计算避免出现人脸畸变，为参数最优解；/n则图像中人脸的三维几何模型F的优化函数表示为：/n /n其中w₁与w₂分别对应规则化项E_{reg_id}与E_{reg_exp}的权重；/n图像中人脸的三维几何模型F的优化函数的具体计算步骤如下：/n初始化时，人脸姿态R为单位矩阵，T为零向量，相机焦距f取鼻尖与后脑勺距离的10倍，并初始化与先对人脸姿态R与T进行求解，此时优化问题变为：/n /n其中f_c,ω_id,c与ω_exp,c分别为固定{R,T}变量后的当前计算结果，在计算出人脸姿态R与T之后，再依次对ω_id与ω_exp优化计算，首先计算ω_id，固定R，T，f，ω_exp后，优化问题为：/n /n其中B_exp,c＝Cr×_expω_exp,c，表示张量核与当前人脸表情特征向量的模乘，此时三阶张量Cr收缩为二维矩阵B_exp,c；同理可得关于ω_exp的优化结果为：/n /n最后对焦距f进行优化，优化问题为：/n /n其中S_c＝Cr×_idω_id,c×_expω_exp,c，上式为关于f的线性优化，f具有最小二乘解，重复计算公式(9)、(10)、(11)、(12)，当公式(8)的图像中人脸的三维几何模型F的优化函数下降至低于阈值或超过最大迭代次数时，停止迭代，得到人脸姿态R与T，相机焦距f与人脸身份特征ω_id和表情特征ω_exp的最优解，即人脸低分辨率模型的各个参数；/n步骤3：姿态变换及局部变形处理；/n将输入图像I_S及目标图像I_T分别输入步骤2得到人脸低分辨率模型F_S与F_T，分别得到人脸姿态(R_S,T_S)与(R_T,T_T)，相机参数f_S与f_T，将输入图像I_S的人脸姿态函数记为H_S＝(R_S,T_S,f_S)，目标图像I_T的人脸姿态函数记为H_T＝(R_T,T_T,f_T)；其中，Rs、Ts分别表示步骤2求得的输入图像的人脸低分辨率模型在空间中的旋转矩阵与平移向量，R_T、T_T分别表示步骤2求得的目标图像的人脸低分辨率模型在空间中的旋转矩阵与平移向量，f_S与f_T分别为输入图像与目标图像的相机参数；/n利用人脸姿态函数H_S将F_S投影至图像空间，使输入图像的人脸低分辨率模型F_S与输入图像I_S中的人脸重合；对于输入图像I_S人脸区域的每个像素，利用人脸低分辨率模型F_S的人脸姿态函数，生成纹理模型T_S，将T_S按照目标人脸姿态与相机参数H_T进行坐标投影，将投影的T_S与目标图像I_T中的人脸区域进行重合，得到姿态变换后的人脸图像I_S′，完成人脸姿态变换；/n为进一步建立输入人脸与目标人脸的像素对应关系，需要对人脸区域变形，在遮挡区域标注稀疏控制点，通过对目标图像I_T的控制点坐标变换，变换后将I′_T与I_S′的二维特征点重合，则各图像中人脸五官与轮廓基本对齐；遮挡物轮廓标注点表示遮挡物体控制点，输入图像与目标图像中人脸特征点重合的点为不动控制点，在变形过程中遮挡物体控制点与不动控制点不发生位移，经控制点变形后，人脸特征区域已基本对齐；/n所述控制点的坐标变换的步骤如下：/n对目标图像中的像素点p定义全局变形函数f(p)，即将像素点p坐标生成坐标集合函数，当图像中的控制点{p_i}移动时，在目标人脸特征点影响下像素点p发生位移，其新坐标p′由变形函数f(p)决定，即p′＝f(p)，则对p′的求解转化为对f(p)解析表达式的求解，f(p)应满足的约束条件：/n /n其中q_i表示控制点p_i位移后的新坐标，最小化||f(p_i)-q_i||²表示f(p)满足控制点p_i产生的变形；当存在多个控制点时，该约束变为加权最小二乘，w_i即对应的权重，f(p)大小与像素点p到p_i的距离成反比；f(p)最优变形为f(p)＝Mp+T，其中M表示二维反射变换矩阵，T表示二维平移向量，f(p)为关于p的线性函数，将f(p)＝Mp+T代入式(13)，得到关于M与T的最小二乘约束：/n /n在求解得到M与T后，即得到像素p变形后的新坐标p′＝Mp+T，假设已得到变形后的图像，其像素坐标p′为整数坐标，而控制点由{q_i}反向移动至{p_i}，经反向计算后，得到p′对应变形前的坐标p；/n步骤4：局部遮挡条件下的拉普拉斯金字塔重建；/n对于局部遮挡条件下的图像换脸，当I′_T的人脸区域存在遮挡时，图像换脸过程需要保持遮挡物的不变，并用拉普拉斯金字塔重建方法替换遮挡物下面的人脸；遮挡物的人脸替换将目标图像分为三层，顶层图像为遮挡物体，其区域范围B_oc由图像预处理步骤获得，中层为预处理后的输入图像中的人脸区域，底层图像为预处理后的目标图像中的人脸外围区域，将三层图像叠加，再将叠加后图像通过拉普拉斯金字塔重建得到I_out，最终合成图像I_Bad；/n所述拉普拉斯金字塔重建合成的具体步骤如下：/n首先保证图像中人脸的光照与颜色分布保持不变，叠加图像的拉普拉斯金字塔顶层即为目标图像的旋转矩阵分量R_T，带通分量为对应金字塔的前n-1层；将各频带分量叠加，得到I_out：/n /n对I′_S与I′_T分别按照公式(15)进行拉普拉斯金字塔分解，得到各层拉普拉斯图像；拉普拉斯金字塔的前n-1层，分别对应图像中不同频带上的人脸特征；当人脸区域存在遮挡物体时，I_out的细节特征分为两部分，一部分是无遮挡的人脸区域，该区域的人脸特征来源于I′_S中的人脸特征；另外一部分是遮挡区域，图像人脸特征来源于I′_T中遮挡物体的自身人脸特征；对得到的拉普拉斯金字塔各层进行高斯滤波，同时根据标记的图像分割结果B_oc，利用公式(15)的频带叠加对遮挡区域的频带特征分量进行提取，最后将R_T与各层平滑拼接，得到合成输出图像I_Bad。/n