[发明专利]一种基于全局光流和神经网络的人脸五官矫正方法

说明书

本发明公开了一种基于全局光流和神经网络的人脸五官矫正方法，该方法属于人脸图像处理领域。所述方法通过神经网络对原始人脸训练图像、镜像人脸训练图像和第一光流进行训练，将训练后的模型用于人脸五官矫正。本发明公开的目的是为了解决现有技术中存在的人脸美化过程中的真实性有所欠缺且传统光流法直接处理人脸图像容易出现的不光滑的情况导致处理图片失真的问题。借此，本发明能够避免传统的光流法中存在的仅计算稀疏矩阵导致回归的人脸特征不光滑的问题，从而达到人脸美化的效果。

技术领域

本发明涉及人脸图像处理领域，特别是涉及一种基于全局光流和神经网络的人脸五官矫正方法。

背景技术

人脸图像处理领域中，为了实现对人脸原图的美化，已经应运而生了磨皮、美白、瘦脸和大眼的诸多美颜功能，这些功能在实现的过程中采用了一套固有模式，美颜后的效果也千篇一律，普通人脸通过这些处理通常会与本人有较大的差异，缺少了每个个体应有的特色，尤其是在一些对真实性有较高要求的场合，过度的美颜效果可能会适得其反；此前也有部分学者提出使用学习的方法进行人脸美化，比如先提取人脸84个特征点，然后使用SVR和卷积神经网络对这些特征点进行优化，但是这些基于特征点的方法只用了稀疏的特征，而且依赖于特征点检测的精确性，而用传统的光流法由于只应用于稀疏矩阵，直接计算人脸图像则面临着极不光滑的问题，因此有很大的缺陷。

发明内容

为了解决上述现有技术中存在的人脸美化过程中的真实性有所欠缺且传统光流法直接处理人脸图像容易出现的不光滑的情况导致处理图片失真的问题，本发明提出了一种基于全局光流和神经网络的人脸五官矫正方法，利用神经网络训练光流，输出对应的label，然后用光流信息通过插值的方法对图像进行矫正，从而使人脸五官的矫正更加光滑。

鉴于以上情况，本发明提出了一种基于全局光流和神经网络的人脸五官矫正方法，具体包括以下步骤：

S1：获取待处理人脸图像，解析出待处理人脸图像的68个特征点，并分别获取左右眼的外眼角坐标，将左眼的左侧眼角坐标记为(x1，y1)，右眼的右侧眼角坐标记为(x2，y2)，求出左右眼的外眼角坐标位置的中点位置坐标，即((x1+x2)/2，(y1+y2)/2)，记为脸部中心点，以该中心点为起始点，分别向上下取两眼间距的1.6倍距离，向左右取两眼间距的1.2倍距离，裁剪图像，若上下距离或左右距离过小，则通过padding的方式以获得裁减图像，得到人脸区域图像，随后将裁减得到的人脸区域图像等比例缩小为448＊336的尺寸；

S2：计算缩小后的人脸区域图像与其水平翻转后的全局左右光流，并通过人脸解析的方法获取缩小后的人脸区域图像的对应矩阵进行点乘，得到优化后的全局左右光流，人脸解析是将人脸图像进行语义分割，将面部标记为1，其余部分标记为O；

S3：将缩小后的人脸区域图像进行翻转得到翻转人脸图像，并与翻转前的人脸区域图像和S2中优化后的全局左右光流拼接，输入到神经网络中，得到光流的预测，将光流的预测resize至裁剪前的尺寸得到预测光流；

S4：使用插值函数将预测得到的预测光流作用到裁剪后的图像中，得到矫正后的人脸图像；

S5：把原始的人脸图像替换为矫正后的人脸图像。

优选地，S3中的神经网络的训练方法具体包括以下步骤：

S301：获取训练样本的左右任意侧面部器官进行镜像得到人脸对称图，对人脸对称图模拟实际中人脸五官不对称的情况随机ps后得到人脸扭曲图，将人脸对称图和人脸扭曲图标记为图像对；

S302：计算S301中所述图像对中人脸扭曲图的每个像素到人脸对称图对应像素的距离和方向，记为第一光流；

S303：对人脸扭曲图进行人脸解析，获取特征点坐标，使用特征点坐标分别建立覆盖眉眼范围的第一网格区和覆盖嘴鼻范围的第二网格区；