[发明专利]一种基于样本模板的数字化妆方法

摘要

本发明提供一种基于样本模板的数字化妆方法，先对淡妆或素颜人脸照片和妆容提供照片进行人脸检测、人脸特征点定位检测和人脸图像变形对准，在此基础上对人脸图像利用改进的引导滤波器进行图层分解，利用基于样本的超分辨率重构算法解决妆容提供图像和输入人脸图像的分辨率差异问题，最后进行人脸图像的图层合成，输出淡妆或素颜照片化妆之后的图像。本发明提出一种新颖的基于模板的数字化妆方法，通过对图层分解和图层合成算法的改进，获得更为真实的化妆效果，且显著缩减算法时间复杂度，使得数字化妆算法实用化和实时化。

主权项

1.一种基于样本模板的数字化妆方法，其特征在于先对移动智能终端采集到的淡妆、或者素颜人脸照片和妆容提供照片进行人脸检测、人脸特征点定位检测和人脸图像变形对准，在此基础上对人脸图像进行图层分解，利用基于样本的超分辨率重构算法解决妆容提供图像和输入人脸图像的分辨率差异问题，最后进行人脸图像的图层合成，输出淡妆或素颜照片化妆之后的图像；包括如下步骤：1)人脸检测：检测输入图像是否含有人脸，若是，则判断人脸的位置、大小和数量；本步骤利用类Haar特征的AdaBoost级联分类器来检测和标示图像中人脸位置；2)人脸特征点检测定位：在图像的人脸区域内，标定出人脸特征点的位置；所述人脸特征点是包括人脸五官的轮廓点，本步骤利用主动表观模型AAM(Active Appearance Models)进行人脸特征点定位；3)人脸图像变形配准：利用图片变形算法将妆容提供图像对准到输入人脸图像；图像变形算法包括：指定特征图元，根据特征图元的对应关系生成变形函数，最后映射并插值得到最终的输出图像；本步骤利用人脸特征点作为特征图元，采用层次自由形状变形算法(Multilevel Free‑form Deformation,MFFD)进行变形映射，从而得到对准后的待化妆人脸；所述步骤3)所述图像变形算法具体操作如下：指定人脸特征点作为特征图元，根据特征图元的对应关系，推导出所需要的变形函数，将妆容提供图像对准到输入人脸图像；设Ω代表变形目标对象，p＝(u,v)代表Ω中任意一个点，1≤u≤m且1≤v≤n，表示目标对象横纵像素点数；函数w(p)＝(x(p),y(p))代表Ω变形后得到的形状；针对目标对象Ω构建大小为(m+2)×(n+2)的覆盖于变形目标Ω上的控制网格Φ；控制网格Φ上的控制点在不同状态下可能处于不同位置；用代表当Φ在算法开始时，第ij个控制点所在位置；通过控制网格Φ上控制点的位置，计算出变形所需要的变形函数w；变形函数w定义为：式中，下标满足条件是对变量u,v取整，函数B_k(s)、B_l(t)是均匀三次B样条曲线的基函数，这些函数定义式如下：B0(t)＝(‑t3+3t2‑3t+1)/6B1(t)＝(3t3+6t2+4)/6B2(t)＝(‑3t3+3t2+3t+1)/6B3(t)＝t3/6式中0≤t<1；开始时，控制点在初始位置，经过两个或者以上的共线控制点的B样条曲线是线性的，此时Φ并没有变形，所以得到：先移动单个特征点，即假设变形目标Ω应该被变形以使得其中的p移动到指定的位置q上，即w(p)＝q，过程中位移为Δq＝w(p)‑w0(p)＝q‑p，为了简化公式表示，假设p＝(u,v),1≤u,v<2，可得：式中wkl＝Bk(s)Bl(t)且s＝u‑1,t＝v‑1；Δφkl满足上式的解有很多个；使用基于最小平方意义的解法，即如下所示：再考虑同时移动多个控制点的情况，假设通过移动控制网格的控制点，将代表目标对象Ω的点集P中的点全部变形，即对于原点集P中任意一个点p都有w(p)＝q，其中q代表p变形后在点集Q中的位置；令P'＝{(u_c,v_c)}为P中的子集，满足i‑2≤u_c<i+2且j‑2≤v_c<j+2，记φ为Φ中第ij个控制点并且φ的初始位置为(i,j)，可以看出P'就是受φ位移影响的特征点集；对P'中的每个点p_c而言，将p_c移动到给定目标位置所需的邻近控制点位移Δφ_c的计算如式所示；对于P'中的每个点，Δφ_c并不一定相同，所以每个控制点φ位移Δφ都应该使得所有点的变形误差最小，从而尽可能避免控制点φ的位移使得P中其他的点被移动到错误的位置；变形误差定义如下：式中，w_cΔφ代表由控制点φ的位移Δφ引起的点p_c的位移，w_cΔφ_c代表实现移动点p_c到指定位置这一目标所需的全部控制点位移导致的点集位移，因此，式表明，变形误差代表的是P'中的每个点p_c＝(u_c,v_c)对应的w_cΔφ和w_cΔφ_c之差的平方和，式中，w_c＝B_k(s)B_l(t),由式对Δφ求导，并使导数为零，可得：据此计算出每一个控制点的正确位移，从而得到变形后控制点的新位置，代入式得到合适变形函数w；进一步地，为控制上述操作过程中的叠影现象，即原图中部分点被映射后重叠在一起的现象，采用分多次迭代去分步移动控制点，随着迭代的进行，逐渐缩小控制网格大小的处理方法；对于g个尺寸依次缩小的控制网格Φ0,Φ1,…,Φg，分别求解出对应的变形函数，从而实现多层次自由形状变形；第f个控制网格Φf初始化时的网格尺寸大小用hf表示，此处h0、hg是给定的，而且对于每个尺寸大小，都满足hf＝2hf+1，用w0,w1,…,wn来代表对应不同控制网格求得的变形函数，最终整个变形函数由w＝wn·wn‑1·…·w0组合表示，式中，w(Ω)＝wn(Ωn),其中Ω0＝Ω，Ωi+1＝wi(Ωi)；在多次迭代中，前一次迭代的结果，就是下一次迭代的输入，因而可得Pi+1＝wi(Pi)，其中初始条件P0＝P，每一次迭代的误差定义为：式中，qc代表变形前的点集P中的点pc在变形后的点集Q中对应的位置；在其中某次迭代后，若由式求得的值小于某个给定的阈值，算法便收敛，并给出最终结果；4)人脸图层分解：对妆容提供图像进行图层分解，把妆容信息从样本图像中分离出来；利用引导滤波器对妆容提供图像进行边缘保留平滑滤波，进一步分解得到人脸结构层和纹理细节层；针对数字化妆应用，人脸的不同区域采取完全不同的化妆策略，本步骤对引导滤波器进行滤波参数自适应调整的改进，使引导滤波器在图像不同区域根据位置信息获得不同程度的平滑和边缘保留效果，缩减基于样本模板的数字化妆算法的运算时间，提高算法的实用性，使其能实现为iOS平台上的一个应用；5)人脸图层合成：对输入图像和妆容提供图像分解后得到的结构图层、细节图层和色相图层进行合成操作，获得化妆后的人脸图像。