[发明专利]人脸图像的视线矫正方法、装置、设备及存储介质

权利要求书

1.一种人脸图像的视线矫正方法，其特征在于，所述方法包括：

从人脸图像中获取待矫正眼部图像；

对所述待矫正眼部图像和目标视线方向在通道维进行组合，得到组合数据；其中，所述目标视线方向是指所述待矫正眼部图像中的眼部视线需要矫正至的视线方向；

通过视线矫正模型对所述组合数据进行处理，得到所述视线矫正模型的输出数据；其中，所述视线矫正模型为经多个教师视线矫正模型进行知识蒸馏训练后得到的学生视线矫正模型；

从所述输出数据中提取得到所述眼部运动流场和所述眼部轮廓掩码；其中，所述眼部运动流场用于调整所述待矫正眼部图像中的像素位置，所述眼部轮廓掩码用于指示所述待矫正眼部图像中的像素位置属于眼部区域的概率；

采用所述眼部运动流场对所述待矫正眼部图像进行视线矫正处理，生成矫正后眼部图像；

将所述眼部轮廓掩码与所述矫正后眼部图像中对应位置的像素值进行相乘，得到第一中间图像；

将所述眼部轮廓掩码对应的映射图像与所述待矫正眼部图像中对应位置的像素值进行相乘，得到第二中间图像；其中，所述眼部轮廓掩码对应的映射图像中任一位置的像素值，为1和所述眼部轮廓掩码中相同位置的像素值之间的差值；

将所述第一中间图像和所述第二中间图像中对应位置的像素值进行相加，得到调整后眼部图像；

基于所述调整后眼部图像，生成经视线矫正后的人脸图像。

2.根据权利要求1所述的方法，其特征在于，所述学生视线矫正模型的训练过程如下：

训练基于运动流场的第一教师视线矫正模型，所述第一教师视线矫正模型用于基于待矫正眼部图像样本输出相应的眼部运动流场；

训练基于图像的第二教师视线矫正模型，所述第二教师视线矫正模型用于基于所述待矫正眼部图像样本输出相应的矫正后眼部图像样本；

采用所述第一教师视线矫正模型和所述第二教师视线矫正模型，对所述学生视线矫正模型进行知识蒸馏训练，得到完成训练的学生视线矫正模型。

3.一种视线矫正模型的训练方法，其特征在于，所述方法包括：

训练基于运动流场的第一教师视线矫正模型，所述第一教师视线矫正模型用于基于待矫正眼部图像样本输出相应的眼部运动流场，所述眼部运动流场用于调整所述待矫正眼部图像样本中的像素位置；

训练基于图像的第二教师视线矫正模型，所述第二教师视线矫正模型用于基于所述待矫正眼部图像样本输出相应的矫正后眼部图像样本；

采用所述第一教师视线矫正模型和所述第二教师视线矫正模型，对学生视线矫正模型进行知识蒸馏训练，得到完成训练的学生视线矫正模型；

其中，所述完成训练的学生视线矫正模型用于实现如上述权利要求1至2任一项所述的人脸图像的视线矫正方法。

4.根据权利要求3所述的方法，其特征在于，所述训练基于运动流场的第一教师视线矫正模型，包括：

获取所述第一教师视线矫正模型的训练样本，所述训练样本包括待矫正眼部图像样本和目标矫正眼部图像；

通过所述第一教师视线矫正模型对所述待矫正眼部图像样本进行处理，输出所述待矫正眼部图像样本对应的眼部运动流场和眼部轮廓掩码，所述眼部轮廓掩码用于指示所述待矫正眼部图像样本中的像素位置属于眼部区域的概率；

基于所述待矫正眼部图像样本及其对应的眼部运动流场和眼部轮廓掩码，生成第一矫正后眼部图像样本；

基于所述第一矫正后眼部图像样本和所述目标矫正眼部图像，计算所述第一教师视线矫正模型的损失，并基于所述第一教师视线矫正模型的损失对所述第一教师视线矫正模型的参数进行调整。