[发明专利]一种保持脸型不变的图像换脸方法

权利要求书

1.一种保持脸型不变的图像换脸方法，其特征在于，具体步骤如下：

S101：获取模版图像，调整模版人脸姿态，生成对齐模版人脸图像；读入模版图像后，检测模版人脸所在位置，使用mtcnn模型预测模版人脸的五个关键点，获得模版人脸的五个关键点坐标，与预先设置的标准正脸的五个关键点进行对齐，将用户人脸平面歪头的角度调整为零；然后对模版图像人脸部分进行裁剪，保证模版人脸在图像的中间位置；最后将对齐模版人脸图像按照out_size×out_size的大小输出；

S102：制作模版肤色图像；采样模版人脸部分的皮肤，通过复制拼接操作，生成一张与对齐模版人脸图像同样大小的模版肤色图像；然后对拼接边界处进行平滑处理，使拼接边界处过度平滑；

S103：对对齐模版人脸图像中的人脸进行瘦脸；复制S101中对齐模版人脸图像，通过液化操作，对模版图像中的人脸进行瘦脸，同时缩短模版人脸的下巴的高度，得到一张瘦脸后的对齐模版人脸图像；

S104：生成模版人脸掩膜、模版头发掩膜与模版额头掩膜；使用人脸解析网络，得到一张解析后的模版人脸分割图像，从中提取出模版人脸掩膜、模版头发掩膜与模版眉毛掩膜；然后寻找模版眉毛掩膜中，y轴坐标最小的点，将其y轴上的值记为dst_brow_y_min；最后复制模版人脸掩膜，将掩膜中y轴坐标大于dst_brow_y_min的点全部置为零，得到模版额头掩膜；

将用户人脸换到模版图像的具体方法步骤如下：

S201：获取用户图像，调整用户人脸姿态，生成对齐用户人脸图像；

S202：将用户人脸轮廓与模版人脸轮廓对齐；首先检测对齐模版人脸与对齐用户人脸的人脸关键点，这里采用的是人脸的81个关键点，提取对齐用户人脸图像关键点圈定的区域框图，得到一张用户人脸图像；然后剔除掉模版人脸与用户人脸关键点中嘴唇上的20个关键点，再使用剔除嘴唇关键点后的用户人脸关键点对用户人脸进行三角剖分；最后通过仿射变换对用户人脸进行变形，使用户人脸轮廓与模版人脸轮廓重合；

S203：点对点用户人脸肤色转换；获取S103中瘦脸后的对其模版人脸与步骤S202中变形后的用户人脸，对模版人脸图像与变形后的用户人脸图像进行高斯模糊处理，得到两个高斯模糊后的图像，用高斯模糊后的模版图像中的数值除对应位置的高斯模糊后的用户图像中的数值，得到一个与用户人脸图像同样大小的系数矩阵，用这个矩阵点对点的与用户人脸进行相乘，得到变换肤色后的用户人脸；

S204：仿射变换将用户人脸轮廓转换为S202对齐前的轮廓；首先获取S202中剔除了嘴唇关键点的模版人脸关键点与用户人脸关键点；然后对S203中变换肤色后的用户人脸进行仿射变换，将用户人脸轮廓转换为用户进行步骤S202中与模版人脸轮廓对齐前的轮廓；最后用户人脸关键点框定的区域，得到用户人脸的掩膜，利用用户人脸掩膜，将肤色转换后的用户人脸粘贴回对齐用户人脸图像，得到变换肤色后的对齐用户人脸图像；

S205：将变换肤色后的用户人脸与模版肤色图像柏松融合；具体的流程步骤如下：

(1)获取S204中变换肤色后用户人脸图像，生成用户人脸掩膜；

首先获取S204中变换肤色后用户人脸图像，使用人脸解析网络对用户人脸进行解析，得到一张解析后的用户人脸分割图像，对用户人脸分割图像进行处理，生成用户人脸掩膜与用户眉毛掩膜；然后寻找用户眉毛掩膜中y轴坐标最小的点，将其y轴上的值记为src_brow_y_min；

(2)检测用户人脸姿态，修正用户人脸掩膜；

获取步骤S204中的变换肤色后的对齐用户人脸图像，检测用户人脸关键点，设置标准人脸的3D人脸坐标，将用户人脸的关键点坐标与标准人脸坐标进行比较，计算出用户人脸姿态的旋转向量，再通过旋转向量计算出用户人脸姿态的三个欧拉角：pitch、yaw、roll；三个欧拉角分别对应于标准正面人脸的人上下转头，左右转头，平面歪头的角度大小，所以用户人脸的欧拉角yaw的大小，就对应于用户人脸左右转头程度的大小；

当yaw的绝对值大于角度时，判定用户人脸左右外头角度过大，需要对用户的掩膜进行修正，使抠出的用户人脸左右对称；取值0.04到0.05之间任意值，当yaw的绝对值大于的时候，就对用户人脸的掩膜进行修正；首先定义以垂直于用户两只眼睛中心的连线，且经过连线的中点的垂线为用户人脸的中线；然后通过中线将用户人脸掩膜分为左右两部分；

当用户人脸姿态的欧拉角yaw大于的时候，判定用户向右转头，人脸偏向右侧，用户掩膜的右边部分大于掩膜的左边部分，将用户掩膜右边抹除；然后，将用户掩膜的左边部分沿着中线翻折到右边，使掩膜左右两边沿中线对称；当用户人脸姿态的欧拉角yaw小于的时候，用户向左转头，人脸偏向左侧，用户掩膜的左边部分大于掩膜的右边部分，将用户掩膜左边抹除，然后沿中线将用户右边部分沿中线翻折到左边部分；

如果用户人脸姿态的欧拉角yaw的绝对值小于等于则不对用户人脸掩膜修改；通过得到的用户人脸掩膜，从变换肤色后的用户人脸图像中抠出用户人脸；

(3)通过模版人脸掩膜修改用户人脸掩膜的大小；

分别获取S104中的dst_brow_y_min与S205(1)中的src_brow_y_min，获取步骤S104中的模版人脸掩膜与S205(2)中修改后的用户人脸掩膜；首先分别检测模版人脸掩膜与用户人脸掩膜的bounding-box，得到bounding-box的左上角与右下角的坐标；将模版人脸掩膜的bounding-box的左上角与右下角的坐标记为(dst_x1，dst_y1)与(dst_x2，dst_y2)；将用户人脸掩膜的bounding-box的左上角与右下角的坐标记为(src_x1，src_y1)与(src_x2，src_y2)；然后根据bounding-box对模版人脸掩膜与用户人脸掩膜进行裁剪，得到裁剪后的模版用户掩膜与裁剪后的用户人脸掩膜；同时，获取S204中的对齐用户人脸图像，通过用户人脸掩膜的bounding-box对其进行剪裁，获得剪裁后的用户人脸图像，保证用户人脸掩膜与用户人脸的对应；

然后分别将dst_distance和src_distance记录为模版额头的高度与用户额头的高度，其中dst_distance与src_distance计算公式如下：

dst_distance＝dst_brow_y_min-dst_y1

src_distance＝src_brow_y_min-src_y1

然后判断dst_distance与src_distance的大小，如果dst_distance大于src_distance，则说明模版的额头高度大于用户的额头高度，则修改dst_x1，令

dst_x1＝dst_brow_y_min+src_distance

如果dst_distance小于等于src_distance，则说明用户的额头高度大于模版的额头高度，不做任何修改；

最后同时对剪裁后的用户人脸掩膜与剪裁后的用户人脸图像做形变，使图像的大小为(W，H)，其中W为图像宽度，H为图像高度；

W＝dst_x2-dst_x1

H＝dst_y2-dst_y1

(4)将用户人脸与模版肤色图像柏松融合，然后将模版的额头与其再次柏松融合；

获取S204的序号(3)中变形后的用户人脸掩膜、用户人脸与S102中的模版肤色图像；首先将用户人脸与模版肤色图像进行柏松融合；由于用户的额头形状与模版的额头形状不同，如果直接将融合后的用户人脸抠出粘贴到瘦脸后的对齐模版图像，额头部分往往会出现难以贴合的问题，所以还会将模版的额头与柏松融合后得到的图像，再次进行柏松融合；获取S104中的模版额头掩膜与S101中的对齐模版人脸图像，将模版额头部分与用户人脸柏松融合后的图像再次柏松融合；

S206：利用用户掩膜抠出用户人脸，获取预设瘦脸后的模版图像；

获取S205的序号(3)中变形后的用户人脸掩膜与S104中模版额头掩膜，获取S205(1)中的src_brow_y_min；首先用户掩膜中y轴坐标小于src_brow_y_min的部分掩膜替换为模版额头掩膜，得到一个新的用户人脸掩膜，使用新的用户掩膜将S205中柏松融合后的人脸抠出，得到用户人脸；然后获取S103中瘦脸后的对齐模版人脸图像，将用户人脸粘贴到瘦脸后的对齐模版人脸图像的对应位置；最后对粘贴后的用户人脸边缘做平滑处理；

S207：将模版的头发粘贴上来，修复粘贴头发后的边缘；

获取S104中的模版头发掩膜与S101中的对齐模版人脸图像；通过模版头发掩膜得到模版头发，将模版头发粘贴到S206中得到的图像的对应位置，然后对粘贴后的头发边缘进行平滑处理。