[发明专利]基于人脸分割的视频预测方法及装置、介质、电子设备

说明书

本发明实施例是关于一种基于人脸分割的视频预测方法及装置、介质、电子设备，涉及图像处理技术领域，该方法包括：利用人脸分割模型对人脸视频数据集进行预测得到所述人脸视频数据集中每帧图像的真伪人脸分割标签；根据所述人脸视频数据集中的每相邻两帧图像以及所述相邻两帧图像对应的真伪人脸分割标签构建输入数据集；利用第一损失函数以及所述输入数据集对所述人脸分割模型进行调整得到目标分割模型；利用所述目标分割模型对待预测人脸图像进行分割得到分割结果，并对多个所述分割结果进行组合得到人脸预测视频。本发明实施例提高了人脸预测视频的稳定性。

背景技术

视频稳像是计算机视觉中一个重要的问题，通过视频稳像可以减少整体位移，给视频观感带来很好的体验。当拍摄源不固定的情况下，很容易造成视频比较抖动，抖动的视频给人很不好的体验。其中，视频发生抖动最显著的特征是帧与帧之间发生整体位移。目前，一些视频抖动检测的方法包括块匹配法、特征点匹配法、灰度投影法以及利用深度学习预测光流的方法等等。

具体的，以利用深度学习预测光流的方法来说，由于需要收集大量的视频数据进行训练，因此较为耗时。并且，深度学习预测带来的误差就会影响预测视频结果的稳定性。比如表情迁移，一般的数据都是图像，输入是人脸图像，输出是具有表情语义的连续标签；当训练好模型之后，应用于预测视频，由于深度学习模型会存在一定的误差，这样就引入了不稳定性因素，导致视频预测结果不稳定。

因此，需要提供一种新的基于人脸分割的视频预测方法及装置。

需要说明的是，在上述背景技术部分发明的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明的目的在于提供一种基于人脸分割的视频预测方法、基于人脸分割的视频预测装置、计算机可读存储介质以及电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的视频预测结果不稳定的问题。

根据本公开的一个方面，提供一种基于人脸分割的视频预测方法，包括：

利用人脸分割模型对人脸视频数据集进行预测得到所述人脸视频数据集中每帧图像的真伪人脸分割标签；

根据所述人脸视频数据集中的每相邻两帧图像以及所述相邻两帧图像对应的真伪人脸分割标签构建输入数据集；

利用第一损失函数以及所述输入数据集对所述人脸分割模型进行调整得到目标分割模型；

利用所述目标分割模型对待预测人脸图像进行分割得到分割结果，并对多个所述分割结果进行组合得到人脸预测视频。

在本公开的一种示例性实施例中，在利用人脸分割模型对人脸视频数据集进行预测得到真伪人脸分割标签之前，所述基于人脸分割的视频预测方法还包括：

利用人脸图像以及人脸分割标签对深度卷积神经网络进行训练得到所述人脸分割模型。

在本公开的一种示例性实施例中，利用人脸图像以及人脸分割标签对深度卷积神经网络进行训练得到所述人脸分割模型包括：

根据所述深度卷积神经网络的当前网络参数值提取所述人脸图像的第一特征向量以及所述人脸分割标签的第二特征向量；

根据所述第一特征向量以及第二特征向量计算损失函数值，并判断所述损失函数值是否小于预设阈值；

如果所述损失函数值小于所述预设阈值，则确定所述当前网络参数值对应的深度卷积神经网络为所述人脸分割模型。

在本公开的一种示例性实施例中，根据所述第一特征向量以及第二特征向量计算损失函数值包括：

配置第二损失函数，并根据所述第一特征向量、第二特征向量以及所述第二损失函数计算所述损失函数值：

其中，所述第二损失函数包括：