[发明专利]人脸图像的视线矫正方法、装置、设备及存储介质

说明书

本申请公开了一种人脸图像的视线矫正方法、装置、设备及存储介质，涉及人工智能技术领域。所述方法包括：从人脸图像中获取待矫正眼部图像；对待矫正眼部图像进行特征提取处理，得到待矫正眼部图像的特征信息；基于特征信息和目标视线方向，对待矫正眼部图像进行视线矫正处理，得到初步矫正后眼部图像和眼部轮廓掩码；采用眼部轮廓掩码对初步矫正后眼部图像进行调整处理，生成矫正后眼部图像；基于矫正后眼部图像，生成经视线矫正后的人脸图像。本申请提供了一种矫正能力更强的视线矫正方案，即便是对于眼珠偏移较大的图像，也能够达到真实且准确的视线矫正结果。

技术领域

本申请实施例涉及人工智能技术领域，特别涉及一种人脸图像的视线矫正方法、装置、设备及存储介质。

背景技术

人的眼睛是最能传神的器官，视线矫正旨在将人眼的视线矫正为任意指定的方向。

在相关技术中，提供了一种基于三角面片形变的视线矫正方案。该方案通过识别得到眼部轮廓上的多个配准点，然后基于该多个配准点将眼部区域划分为多个三角形区域，得到多个三角形面片，然后对该多个三角形面片进行拉伸等形变处理，通过调整眼睛的睁开程度来实现视线矫正。

上述这种方案视线矫正能力较弱，当眼睛视线偏向左侧或者右侧时，矫正效果不佳。

发明内容

本申请实施例提供了一种人脸图像的视线矫正方法、装置、设备及存储介质，提供了一种矫正能力更强的视线矫正方案。所述技术方案如下：

根据本申请实施例的一个方面，提供了一种人脸图像的视线矫正方法，所述方法包括：

从人脸图像中获取待矫正眼部图像；

对所述待矫正眼部图像进行特征提取处理，得到所述待矫正眼部图像的特征信息；

基于所述特征信息和目标视线方向，对所述待矫正眼部图像进行视线矫正处理，得到初步矫正后眼部图像和眼部轮廓掩码；其中，所述目标视线方向是指所述待矫正眼部图像中的眼部视线需要矫正至的视线方向，所述眼部轮廓掩码用于指示所述待矫正眼部图像中的像素位置属于眼部区域的概率；

采用所述眼部轮廓掩码对所述初步矫正后眼部图像进行调整处理，生成矫正后眼部图像；

基于所述矫正后眼部图像，生成所述经视线矫正后的人脸图像。

根据本申请实施例的一个方面，提供了一种视线矫正模型的训练方法，所述方法包括：

获取视线矫正模型的训练样本，所述训练样本包括待矫正眼部图像样本和目标矫正眼部图像；

通过视线矫正模型基于所述待矫正眼部图像样本、所述目标矫正眼部图像和目标视线方向，生成初步矫正后眼部图像样本和眼部轮廓掩码；其中，所述目标视线方向是指所述待矫正眼部图像样本中的眼部视线需要矫正至的视线方向，所述眼部轮廓掩码用于指示所述待矫正眼部图像样本中的像素位置属于眼部区域的概率；

采用所述眼部轮廓掩码对所述初步矫正后眼部图像样本进行调整处理，生成矫正后眼部图像样本；

基于所述矫正后眼部图像样本和所述目标矫正眼部图像，确定所述视线矫正模型的损失，并基于所述损失对所述视线矫正模型的参数进行调整。

根据本申请实施例的一个方面，提供了一种人脸图像的视线矫正装置，所述装置包括：

眼部图像获取模块，用于从人脸图像中获取待矫正眼部图像；

特征信息提取模块，用于对所述待矫正眼部图像进行特征提取处理，得到所述待矫正眼部图像的特征信息；