[发明专利]一种基于全局光流和神经网络的人脸五官矫正方法

权利要求书

1.一种基于全局光流和神经网络的人脸矫正方法，其特征在于：包括以下步骤：

S1：获取待处理人脸图像，解析出待处理人脸图像的68个特征点，并分别获取左右眼的外眼角坐标，求出左右眼的外眼角坐标位置的平均值，记为脸部中心点，以该中心点为起始点，分别向上下取两眼间距的1.6倍距离，向左右取两眼间距的1.2倍距离，裁剪图像，得到人脸区域图像，随后将裁减得到的人脸区域图像等比例缩小为448*336的尺寸；

S2：计算缩小后的人脸区域图像与其水平翻转后的全局左右光流，并通过人脸解析的方法获取缩小后的人脸区域图像的对应矩阵进行点乘，得到优化后的全局左右光流；

S3：将缩小后的人脸区域图像进行翻转得到翻转人脸图像，并与翻转前的人脸区域图像和S2中优化后的全局左右光流拼接，输入到神经网络中，得到光流的预测，将光流的预测resize至裁剪前的尺寸得到预测光流；

S4：使用插值函数将预测得到的预测光流作用到裁剪后的图像中，得到矫正后的人脸图像；

S5：把原始的人脸图像替换为矫正后的人脸图像。

2.根据权利要求1所述的一种基于全局光流和神经网络的人脸矫正方法，其特征在于，S3中的神经网络的训练方法具体包括以下步骤：

S301：获取训练样本的左右任意侧面部器官进行镜像得到人脸对称图，对人脸对称图模拟实际中人脸五官不对称的情况随机ps后得到人脸扭曲图，将人脸对称图和人脸扭曲图标记为图像对；

S302：计算S301中所述图像对中人脸扭曲图的每个像素到人脸对称图对应像素的距离和方向，记为第一光流；

S303：对人脸扭曲图进行人脸解析，获取特征点坐标，使用特征点坐标分别建立覆盖眉眼范围的第一网格区和覆盖嘴鼻范围的第二网格区；

S304：获取第一光流作用下两个网格区中每个网格点(x,y)对应位置的值(v_x,v_y),相加后得到人脸对称图的网格点像素的坐标；

S305：计算反映人脸扭曲图的网格点的坐标和人脸对称图的网格点的坐标的对应关系的TPS函数F；

S306：建立与人脸扭曲图尺寸相同的密集网格点，每个网格点即为人脸扭曲图对应的扭曲样本的每个像素坐标，输入TPS函数F中后计算得到训练样本对应像素点的坐标；

S307：将S306中训练样本像素点的坐标减去扭曲样本像素点的坐标，得到第一光流修正后的光流，记为第二光流；

S308：计算人脸对称图的网格点到人脸扭曲图的网格点的TPS函数，得到F的反函数F^’；

S309：将人脸对称图输入到F^’中得到与人脸扭曲图的扭曲形态相同的修正扭曲图；

S310：将修正扭曲图、修正扭曲图的人脸任意侧翻转后的图像和全局左右光流作为输入，第二光流作为输出，对神经网络进行训练。

3.根据权利要求2所述的一种基于全局光流和神经网络的人脸矫正方法，其特征在于：所述待处理人脸图像、训练样本、人脸扭曲图与修正扭曲图的像素矩阵大小为1000*800，所述第一网格区的像素矩阵大小为15*8，所述第二网格区的像素矩阵大小为8*10。

4.根据权利要求2所述的一种基于全局光流和神经网络的人脸矫正方法，其特征在于：所述第一网格区的上边界为眉毛顶部对应的水平线，下边界为眼睛底部所在水平线与鼻子顶部所在水平线的中间线，左边界为眉毛和眼睛的所有像素点中最左侧像素点所在的竖直线，右边界为眉毛和眼睛的所有像素点中最右侧像素点所在的竖直线。

5.根据权利要求2所述的一种基于全局光流和神经网络的人脸矫正方法，其特征在于：所述第二网格区的上边界为鼻子顶部所在水平线，下边界为嘴巴底部所在水平线，左边界为鼻子和嘴巴所有像素点中最左侧像素点所在的竖直线，右边界为鼻子和嘴巴的所有像素点中最右侧像素点所在的竖直线。