[发明专利]人脸光流估计网络的训练以及人脸光流估计方法和装置

权利要求书

1.一种人脸光流估计网络的训练方法，包括：

将在视频中相邻两帧图像对应的第一人脸图像和第二人脸图像输入人脸光流估计网络，得到所述第一人脸图像对应的预测人脸光流值；其中，所述第一人脸图像和所述第二人脸图像为包含人脸的图像；

分别对所述第一人脸图像和所述第二人脸图像进行高斯模糊处理，得到第一平滑图像和第二平滑图像；

基于所述第一平滑图像、所述第二平滑图像和所述预测人脸光流值，确定所述人脸光流估计网络的网络损失；

基于所述网络损失，监督所述人脸光流估计网络的训练。

2.根据权利要求1所述的方法，所述基于所述第一平滑图像、所述第二平滑图像和所述预测人脸光流值，确定所述人脸光流估计网络的网络损失，包括：

基于所述预测人脸光流值对所述第二平滑图像进行仿射变换，得到第二变换图像；

基于所述第一平滑图像和所述第二变换图像，确定所述人脸光流估计网络的网络损失。

3.根据权利要求2所述的方法，在分别对所述第一人脸图像和所述第二人脸图像进行高斯模糊处理，得到第一平滑图像和第二平滑图像之前，还包括：

分别对所述第一人脸图像和所述第二人脸图像进行灰度化处理。

4.根据权利要求2或3所述的方法，所述基于所述第一平滑图像和所述第二变换图像，确定所述人脸光流估计网络的网络损失，包括：

基于所述第一平滑图像和所述第二平滑图像中相应位置上像素点值的差异，确定所述人脸光流估计网络的光流损失；

基于所述光流损失确定所述网络损失。

5.根据权利要求3所述的方法，所述基于所述第一平滑图像和所述第二变换图像，确定所述人脸光流估计网络的网络损失，包括：

确定所述第一平滑图中每个像素点的第一描述编码和所述第二变换图像中每个像素点的第二描述编码；

基于所述第一平滑图对应的多个第一描述编码和所述第二变换图像对应的多个第二描述编码，确定所述人脸光流估计网络的第二平滑损失；

基于所述第二平滑损失，确定所述人脸光流估计网络的网络损失。

6.根据权利要求5所述的方法，所述确定所述第一平滑图中每个像素点的第一描述编码和所述第二变换图像中每个像素点的第二描述编码，包括：

针对所述第一平滑图像中每个像素点，基于所述像素点周围设定数量的像素点的灰度值与所述像素点的灰度值之间的大小关系，确定所述像素点的第一描述编码；

针对所述第二平滑图像中每个像素点，基于所述像素点周围设定数量的像素点的灰度值与所述像素点的灰度值之间的大小关系，确定所述像素点的第二描述编码。

7.根据权利要求1-6任一所述的方法，所述将在视频中相邻两帧对应的第一人脸图像和第二人脸图像输入人脸光流估计网络，得到所述第一人脸图像对应的预测人脸光流值，包括：

对所述视频中相邻的第一图像帧和第二图像帧分别进行人脸检测，得到所述第一图像帧对应的第一人脸检测框和所述第二图像帧对应的第二人脸检测框；

基于所述第一人脸检测框和所述第二人脸检测框确定第三检测框；

基于所述第三检测框从所述第一图像帧中确定第一人脸图像，基于所述第三检测框从所述第二图像帧中确定第二人脸图像；

基于所述人脸光流估计网络对所述第一人脸图像和所述第二人脸图像进行处理，得到所述第一人脸图像对应的预测人脸光流值。

8.一种人脸光流估计方法，包括：

对目标视频中的连续两帧图像分别进行人脸检测，得到第三人脸图像和第四人脸图像；

将所述第三人脸图像和所述第四人脸图像输入人脸光流估计网络，得到所述第三人脸图像对应的人脸光流值；其中，所述人脸光流估计网络经过如权利要求1-10任一项所述的人脸光流估计网络的训练方法训练。