[发明专利]一种基于人脸对齐及仿射变换的人脸贴纸产生方法

权利要求书

1.一种基于人脸对齐及仿射变换的人脸贴纸产生方法，包括

S1人脸检测的步骤：

采用Mtcnn人脸检测器对目标图像进行人脸检测，获得人脸框；

S2人脸对齐的步骤：

基于步骤S1输出的人脸框进行人脸对齐，即在人脸框内提取与人脸特征相关的多个人脸特征点；

S3获取仿射变换基准点的步骤：

基于步骤S2输出的多个人脸特征点获取与贴纸模板仿射变换后相对应矩形区域(1)的4个顶点，即贴纸模板的基准点；

S4仿射变换矩阵计算的步骤：

将贴纸模板图片的4个顶点作为仿射变换前的基准点，将步骤S3中的4个基准点坐标作为仿射后的基准点，此8个点作为仿射变换的输入，进而求得仿射变换矩阵T，

其中，仿射变换前的4个基准点坐标为：

P_src-lt＝(0，0)

P_src-lb＝(0，H-1)

P_src-rt＝(W-1，0)

P_src-rb＝(W-1，H-1)

其中，H为贴纸模板图片的像素高度，W为贴纸模板的像素宽度，Psrc-lt、Psrc-lb、Psrc-rt、Psrc-rb依次为贴纸模板图片左上角、左下角、右上角、右下角的坐标；

S5对贴纸模板进行仿射变换的步骤：

将步骤S34得到的仿射变换矩阵T应用到贴纸模板上，获得仿射变换后的贴纸；

S6贴纸叠加的步骤：

将步骤S35得到的仿射变换后的贴纸模板画在人脸相应位置上；

其特征在于：

步骤S2中人脸特征点包括从右眼右端开始绕其轮廓设置的至少6个眼部轮廓特征点P₃₇、P₃₈、P₃₉、P₄₀、P₄₁和P₄₂；从左眼右端开始绕其轮廓设置的至少6个左眼轮廓特征点P₄₃、P₄₄、P₄₅、P₄₆、P₄₇和P₄₈；位于人脸轮廓最低端的9号人脸特征点P₉、与鼻梁顶端对应的28号人脸特征点P₂₈；

所述获取仿射变换基准点的步骤如下：

S31：根据左右两眼各自的6个人脸特征点，分别计算左眼中心点CenL(2)及右眼中心点CenR(3)的坐标；

S32：在连接左眼中心点及右眼中心点的线段左侧取点P_SL(4)，在连接左眼中心点及右眼中心点的线段右侧取点P_SR(5)，点P_SL及P_SR的坐标点如下：

P_SL＝(Cen_L.x+0.55(Cen_L.x-Cen_R.x)，Cen_L.y+0.55(Cen_L.y-Cen_R.y))

P_SR＝(Cen_R.x+0.55(Cen_R.x-Cen_L.x)，Cen_R.y+0.55(Cen_R.y-Cen_L.y))

其中Cen_L.x为左眼中心点CenL的x轴坐标，Cen_R.x为右眼中心点CenR的x轴坐标，Cen_L.y为左眼中心点CenL的y轴坐标，Cen_R.y为右眼中心点CenR的y轴坐标，点P_SL对应所述矩形区域左边沿的中点，P_SR对应所述矩形区域右边沿的中点；

S33：根据步骤S32获得的点P_SL及P_SR分别计算所述矩形区域左边沿的端点及右边沿的端点，即映射到人脸上贴纸的4个顶点，其具体步骤如下：

S331获取人脸对称轴与像素坐标系下y轴之间的夹角：

alpha＝atan2(P₉.x-P₂₈.x，P₉.y-P₂₈.y)

其中，alpha为9号人脸特征点P₉与28号人脸特征点P₂₈连线与y坐标轴之间的夹角，atan2为方位角函数，其返回以弧度表示的(P₉.y-P₂₈.y)/(P₉.x-P₂₈.x)的反正切；

S332获取左眼两端距离及右眼两端距离：

d_eL＝sqrt((P₃₇.x-P₄₀.x)²+(P₃₇.y-P₄₀.y)²)

d_eR＝sqrt((P₄₃.x-P₄₆.x)²+(P₄₃.y-P₄₆.y)²)；

其中，d_eL为左眼的距离，d_eR为右眼的距离，sqrt为开平方根函数，P₃₇.x为人脸特征点P₃₇的x轴坐标值，P₄₀.x为人脸特征点P₄₀的x轴坐标值，P₄₃.x为人脸特征点P₄₃的x轴坐标值，P₄₆.x为人脸特征点P₄₆的x轴坐标值，P₃₇.y为人脸特征点P₃₇的y轴坐标值，P₄₀.y为人脸特征点P₄₀的y轴坐标值，P₄₃.y 为人脸特征点P₄₃的y轴坐标值，P₄₆. y为人脸特征点P₄₆的y轴坐标值；

S333获取所述矩形局域左边沿两端点相对其中点的x方向及y方向偏移量：

d_LX＝0.6*d_eL*sin(alpha)

d_LY＝0.6*d_eL*cos(alpha)

S334获取所述矩形局域右边沿两端点相对其中点的x方向及y方向偏移量：

d_RX＝0.6*d_eR*sin(alpha)

d_RY＝0.6*d_eR*cos(alpha)

其中sin为正弦函数，cos为余弦函数；

S335基于矩形区域左边沿中点、矩形区域右边沿中点及步骤S334中各偏移量，计算矩形区域左边沿端点及矩形区域右边沿端点，即最终要获得的人脸上的贴纸的4顶点，人脸上贴纸左上角(6)、左下角(7)、右上角(8)、右下角(9)坐标依次如下：

P_lt＝(P_SL.x-d_LX，P_SL.y-d_LY)

P_lb＝(P_SL.x+d_LX，P_LX，P_SL.y+d_LY)

P_rt＝(P_SR.x-d_RX，P_SR.y-d_RY)

P_rb＝(P_SR.x+d_RX，P_SR.y+d_RY)

其中P_SL.x为点P_SL的x轴坐标值，P_SL.y为点P_SL的Y轴坐标值，P_SR.x为点P_SR的x轴坐标值，P_SR.y为点P_SR的y轴坐标值；

S336获取以上4点相对由该4点构成的最小矩形区域的相对坐标，该相对坐标为仿射变换的目标基准点，具体计算方法如下：

minTempX＝min(min(min(P_lt.x，P_lb.x)，P_rt.x)，P_rb.x)

minTempY＝min(min(min(P_lt.y，P_lb.y)，P_rt.y)，P_rb.y)

refPoint＝(minTempX，minTempY)

P_dst-lt＝(P_lt.x-P_ref.x，P_lt.y-P_ref.y)

P_dst-lb＝(P_lb.x-P_ref.x，P_lb.y-P_ref.y)

P_dst-rt＝(P_rt.x-P_ref.x，P_rt.y-P_ref.y)

P_dst-rb＝(P_rb.x-P_ref.x，P_rb.y-P_ref.y)

其中，min为最小化函数，其返回给定参数表中的最小值，refPoint为参照点，P_dst-lt、P_dst-lb、P_dst-rt、P_dst-rb依次为矩形区域左上角、左下角、右上角、右下角的相对坐标；P_lt.x、P_lt.y分别为点P_lt的x轴坐标值及y轴坐标值；P_lb.x，P_lb.y分别为点P_lb的x轴坐标值及y轴坐标值，P_rt.x、P_rt.y分别为点P_rt的x轴坐标值及y轴坐标值，P_rb.x、P_rb.y分别为点P_rb的x轴坐标值及y轴坐标值。

2.根据权利要求1所述的基于人脸对齐及仿射变换的人脸贴纸产生方法，其特征在于，所述人脸对齐的步骤中获取的人脸特征点总数为68个。