[发明专利]人脸图像的视线矫正方法、装置、设备及存储介质

说明书

本申请公开了一种人脸图像的视线矫正方法、装置、设备及存储介质，涉及人工智能技术领域。所述方法包括：从人脸图像中获取待矫正眼部图像；基于待矫正眼部图像和目标视线方向，生成眼部运动流场；采用眼部运动流场对待矫正眼部图像进行视线矫正处理，生成矫正后眼部图像；基于矫正后眼部图像，生成经视线矫正后的人脸图像。由于本申请技术方案无需固定头部姿态进行视线矫正，因此对于诸如视频会议、视频通话、视频直播等用户头部姿态实时会发生变化的场景，本申请技术方案具有较好的视线矫正能力。

技术领域

本申请实施例涉及人工智能技术领域，特别涉及一种人脸图像的视线矫正方法、装置、设备及存储介质。

背景技术

人的眼睛是最能传神的器官，视线矫正旨在将人眼的视线矫正为任意指定的方向。

在相关技术中，提供了一种基于固定头部姿态进行视线矫正的技术方案，该方案对于头部姿态固定的图像，具有较好的视线矫正能力。但是，对于视频会议、视频通话等场景，用户头部姿态实时会发生变化，导致该方案对于这种场景无法适用。

发明内容

本申请实施例提供了一种人脸图像的视线矫正方法、装置、设备及存储介质，对于诸如视频会议、视频通话等用户头部姿态实时会发生变化的场景，具有较好的视线矫正能力。所述技术方案如下：

根据本申请实施例的一个方面，提供了一种人脸图像的视线矫正方法，所述方法包括：

从人脸图像中获取待矫正眼部图像；

基于所述待矫正眼部图像和目标视线方向，生成眼部运动流场；其中，所述目标视线方向是指所述待矫正眼部图像中的眼部视线需要矫正至的视线方向，所述眼部运动流场用于调整所述待矫正眼部图像中的像素位置；

采用所述眼部运动流场对所述待矫正眼部图像进行视线矫正处理，生成矫正后眼部图像；

基于所述矫正后眼部图像，生成经视线矫正后的人脸图像。

根据本申请实施例的一个方面，提供了一种视线矫正模型的训练方法，所述方法包括：

训练基于运动流场的第一教师视线矫正模型，所述第一教师视线矫正模型用于基于待矫正眼部图像样本输出相应的眼部运动流场，所述眼部运动流场用于调整所述待矫正眼部图像样本中的像素位置；

训练基于图像的第二教师视线矫正模型，所述第二教师视线矫正模型用于基于所述待矫正眼部图像样本输出相应的矫正后眼部图像样本；

采用所述第一教师视线矫正模型和所述第二教师视线矫正模型，对学生视线矫正模型进行知识蒸馏训练，得到完成训练的学生视线矫正模型。

根据本申请实施例的一个方面，提供了一种人脸图像的视线矫正装置，所述装置包括：

眼部图像获取模块，用于从人脸图像中获取待矫正眼部图像；

运动流场生成模块，用于基于所述待矫正眼部图像和目标视线方向，生成眼部运动流场；其中，所述目标视线方向是指所述待矫正眼部图像中的眼部视线需要矫正至的视线方向，所述眼部运动流场用于调整所述待矫正眼部图像中的像素位置；

视线矫正处理模块，用于采用所述眼部运动流场对所述待矫正眼部图像进行视线矫正处理，生成矫正后眼部图像；

眼部图像整合模块，用于基于所述矫正后眼部图像，生成经视线矫正后的人脸图像。

根据本申请实施例的一个方面，提供了一种视线矫正模型的训练装置，所述装置包括：

第一教师模型训练模块，用于训练基于运动流场的第一教师视线矫正模型，所述第一教师视线矫正模型用于基于待矫正眼部图像样本输出相应的眼部运动流场，所述眼部运动流场用于调整所述待矫正眼部图像样本中的像素位置；