[发明专利]人脸图像的视线矫正方法、装置、设备及存储介质

说明书

本申请公开了一种人脸图像的视线矫正方法、装置、设备及存储介质，涉及人工智能技术领域。所述方法包括：从人脸图像中获取待矫正眼部图像；基于待矫正眼部图像，生成眼部运动流场和眼部轮廓掩码；基于眼部运动流场和眼部轮廓掩码，对待矫正眼部图像进行视线矫正处理，生成矫正后眼部图像；基于矫正后眼部图像，生成经视线矫正后的人脸图像。本申请直接根据输入的待矫正眼部图像端到端生成矫正后眼部图像，不需要知道头部姿态角，大大降低了耗时并提高了矫正准确度，使得视线矫正功能真正达到了实际可用的标准，适用于视频会议、视频通话、视频直播等场景。

技术领域

本申请实施例涉及人工智能技术领域，特别涉及一种人脸图像的视线矫正方法、装置、设备及存储介质。

背景技术

人的眼睛是最能传神的器官，视线矫正旨在将人眼的视线矫正为任意指定的方向。

在相关技术中，首先估计出头部姿态角，在通过头部偏移方向与正视摄像头之间的夹角来估计视线需要矫正的度数，并根据该度数修正眼球位置，从而实现视线矫正。

但是，上述流程中存在多个步骤的参数计算，一方面流程耗时较高，另一方面每一个步骤的参数计算都会存在误差，整个流程下来误差会累积放大，导致最终结果的准确度不高。

发明内容

本申请实施例提供了一种人脸图像的视线矫正方法、装置、设备及存储介质，提供了一种高效且准确性更高的视线矫正方案。所述技术方案如下：

根据本申请实施例的一个方面，提供了一种人脸图像的视线矫正方法，所述方法包括：

从人脸图像中获取待矫正眼部图像；

基于所述待矫正眼部图像，生成眼部运动流场和眼部轮廓掩码；其中，所述眼部运动流场用于调整所述待矫正眼部图像中的像素位置，所述眼部轮廓掩码用于指示所述待矫正眼部图像中的像素位置属于眼部区域的概率；

基于所述眼部运动流场和所述眼部轮廓掩码，对所述待矫正眼部图像进行视线矫正处理，生成矫正后眼部图像；

基于所述矫正后眼部图像，生成经视线矫正后的人脸图像。

根据本申请实施例的一个方面，提供了一种视线矫正模型的训练方法，所述方法包括：

获取视线矫正模型的训练样本，所述训练样本包括待矫正眼部图像样本和目标矫正眼部图像；

通过所述视线矫正模型对所述待矫正眼部图像样本进行处理，输出所述待矫正眼部图像样本对应的眼部运动流场和眼部轮廓掩码；其中，所述眼部运动流场用于调整所述待矫正眼部图像样本中的像素位置，所述眼部轮廓掩码用于指示所述待矫正眼部图像样本中的像素位置属于眼部区域的概率；

基于所述眼部运动流场和所述眼部轮廓掩码，对所述待矫正眼部图像样本进行视线矫正处理，生成矫正后眼部图像样本；

基于所述矫正后眼部图像样本和所述目标矫正眼部图像，确定所述视线矫正模型的损失，并基于所述损失对所述视线矫正模型的参数进行调整。

根据本申请实施例的一个方面，提供了一种人脸图像的视线矫正装置，所述装置包括：

眼部图像获取模块，用于从人脸图像中获取待矫正眼部图像；

流场掩码生成模块，用于基于所述待矫正眼部图像，生成眼部运动流场和眼部轮廓掩码；其中，所述眼部运动流场用于调整所述待矫正眼部图像中的像素位置，所述眼部轮廓掩码用于指示所述待矫正眼部图像中的像素位置属于眼部区域的概率；

视线矫正处理模块，用于基于所述眼部运动流场和所述眼部轮廓掩码，对所述待矫正眼部图像进行视线矫正处理，生成矫正后眼部图像；

眼部图像整合模块，用于基于所述矫正后眼部图像，生成经视线矫正后的人脸图像。