[发明专利]人脸光流估计网络的训练以及人脸光流估计方法和装置

说明书

本公开实施例公开了一种人脸光流估计网络的训练以及人脸光流估计方法和装置，其中，方法包括：将在视频中相邻两帧图像对应的第一人脸图像和第二人脸图像输入人脸光流估计网络，得到第一人脸图像对应的预测人脸光流值；分别对第一人脸图像和第二人脸图像进行高斯模糊处理，得到第一平滑图像和第二平滑图像；基于第一平滑图像、第二平滑图像和预测人脸光流值，确定人脸光流估计网络的网络损失；基于网络损失，监督人脸光流估计网络的训练。本公开实施例通过基于第一平滑图像、第二平滑图像和预测人脸光流值，确定人脸光流估计网络的网络损失，不需要获取人脸光流真值，实现在无监督的条件下训练人脸光流估计网络，降低了标注代价。

技术领域

本公开涉及计算机视觉技术，尤其是一种人脸光流估计网络的训练以及人脸光流估计方法和装置。

背景技术

人脸稠密光流估计用于得到人脸图像中每个像素点在帧间的运动，在表情/微表情识别、行为识别等领域有着广泛的应用。近年来随着深度学习技术的发展，基于深度学习的稠密光流估计技术已经超过了传统方法，取得了更好的效果。基于深度学习的有监督光流估计算法往往需要大量的真值进行模型训练，但真实场景的人脸光流真值非常难以获取

发明内容

为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种人脸光流估计网络的训练以及人脸光流估计方法和装置。

根据本公开实施例的一个方面，提供了一种人脸光流估计网络的训练方法，包括：

将在视频中相邻两帧图像对应的第一人脸图像和第二人脸图像输入人脸光流估计网络，得到所述第一人脸图像对应的预测人脸光流值；其中，所述第一人脸图像和所述第二人脸图像为包含人脸的图像；

分别对所述第一人脸图像和所述第二人脸图像进行高斯模糊处理，得到第一平滑图像和第二平滑图像；

基于所述第一平滑图像、所述第二平滑图像和所述预测人脸光流值，确定所述人脸光流估计网络的网络损失；

基于所述网络损失，监督所述人脸光流估计网络的训练。

根据本公开实施例的另一方面，提供了一种人脸光流估计方法，包括：

对目标视频中的连续两帧图像分别进行人脸检测，得到第三人脸图像和第四人脸图像；

将所述第三人脸图像和所述第四人脸图像输入人脸光流估计网络，得到所述第三人脸图像对应的人脸光流值；其中，所述人脸光流估计网络经过如上述任一项实施例所述的人脸光流估计网络的训练方法训练。

根据本公开实施例的又一方面，提供了一种人脸光流估计网络的训练装置，包括：

光流预测模块，用于将在视频中相邻两帧图像对应的第一人脸图像和第二人脸图像输入人脸光流估计网络，得到所述第一人脸图像对应的预测人脸光流值；其中，所述第一人脸图像和所述第二人脸图像为包含人脸的图像；

高斯处理模块，用于分别对所述第一人脸图像和所述第二人脸图像进行高斯模糊处理，得到第一平滑图像和第二平滑图像；

损失确定模块，用于基于所述高斯处理模块确定的第一平滑图像和所述第二平滑图像，以及所述光流预设模块确定的预测人脸光流值，确定所述人脸光流估计网络的网络损失；

网络训练模块，用于基于所述损失确定模块确定的网络损失，监督所述人脸光流估计网络的训练。

根据本公开实施例的还一方面，提供了一种人脸光流估计装置，包括：

人脸检测模块，用于对目标视频中的连续两帧图像分别进行人脸检测，得到第三人脸图像和第四人脸图像；