[发明专利]人脸图像的视线矫正方法、装置、设备及存储介质

权利要求书

1.一种人脸图像的视线矫正方法，其特征在于，所述方法包括：

从人脸图像中获取待矫正眼部图像；

基于所述待矫正眼部图像，生成眼部运动流场和眼部轮廓掩码；其中，所述眼部运动流场用于调整所述待矫正眼部图像中的像素位置，所述眼部轮廓掩码用于指示所述待矫正眼部图像中的像素位置属于眼部区域的概率；

采用所述眼部运动流场对所述待矫正眼部图像进行变换处理，生成初步矫正后眼部图像；

将所述眼部轮廓掩码与所述初步矫正后眼部图像中对应位置的像素值进行相乘，得到第一中间图像；

将所述眼部轮廓掩码对应的映射图像与所述待矫正眼部图像中对应位置的像素值进行相乘，得到第二中间图像；其中，所述眼部轮廓掩码对应的映射图像中任一位置的像素值，是采用1减去所述眼部轮廓掩码中相同位置的像素值得到的数值；

将所述第一中间图像和所述第二中间图像中对应位置的像素值进行相加，得到矫正后眼部图像；

基于所述矫正后眼部图像，生成经视线矫正后的人脸图像。

2.根据权利要求1所述的方法，其特征在于，所述基于所述待矫正眼部图像，生成眼部运动流场和眼部轮廓掩码，包括：

通过视线矫正模型对所述待矫正眼部图像进行处理，得到所述视线矫正模型的输出数据；

从所述输出数据中提取第一通道和第二通道的数据，得到所述眼部运动流场；

从所述输出数据中提取第三通道的数据，得到所述眼部轮廓掩码。

3.根据权利要求2所述的方法，其特征在于，所述通过视线矫正模型对所述待矫正眼部图像进行处理，得到所述视线矫正模型的输出数据，包括：

通过所述视线矫正模型的下采样部分对所述待矫正眼部图像进行下采样处理，生成下采样后图像；

通过所述视线矫正模型的上采样部分对所述下采样后图像进行上采样处理，得到所述视线矫正模型的输出数据；

其中，在所述上采样处理的过程中，将当前上采样步骤生成的特征图与所述下采样处理的过程中生成的相同尺寸特征图进行级联处理后，作为下一上采样步骤的输入图像。

4.根据权利要求1所述的方法，其特征在于，所述从人脸图像中获取待矫正眼部图像，包括：

从所述人脸图像中识别得到单个眼睛的轮廓关键点；

基于所述单个眼睛的轮廓关键点，确定所述单个眼睛的最小外接矩形；

对所述单个眼睛的最小外接矩形放大指定倍数，得到所述单个眼睛的图像截取框；

基于所述单个眼睛的图像截取框，从所述人脸图像中截取得到所述单个眼睛的待矫正眼部图像。

5.根据权利要求1所述的方法，其特征在于，所述基于所述矫正后眼部图像，生成经视线矫正后的人脸图像，包括：

将所述矫正后眼部图像整合至所述待矫正眼部图像在所述人脸图像的图像截取框位置处，得到整合图像；

对所述整合图像中所述图像截取框位置处进行图像和谐化处理，得到所述经视线矫正后的人脸图像；其中，所述图像和谐化处理用于消除所述图像截取框位置处的边界痕迹。

6.根据权利要求5所述的方法，其特征在于，所述对所述整合图像中所述图像截取框位置处进行图像和谐化处理，得到所述经视线矫正后的人脸图像，包括：

生成与所述人脸图像相同尺寸的初始化掩膜图像，所述初始化掩膜图像在所述图像截取框位置处的像素值为1，其余位置的像素值为0；

对所述初始化掩膜图像进行腐蚀操作和高斯模糊处理，得到处理后掩膜图像；

将所述处理后掩膜图像与所述整合图像中对应位置的像素值进行相乘，得到第一生成图像；

将所述处理后掩膜图像对应的映射图像与所述人脸图像中对应位置的像素值进行相乘，得到第二生成图像；

将所述第一生成图像和所述第二生成图像中对应位置的像素值进行相加，得到所述经视线矫正后的人脸图像。