[发明专利]基于视频时序的人脸年龄编辑方法

说明书

本发明涉及一种基于视频时序的人脸年龄编辑方法。本发明的技术方案为一种基于视频时序的人脸年龄编辑方法，其特征在于：获取包含人脸的待编辑视频和待编辑年龄信息；从待编辑视频的视频帧中裁剪出人脸图像，将人脸图像经仿射变换得到对齐后的人脸图像；通过映射网络从待编辑视频第i帧图像的对齐后的人脸图像中获取人脸特征编码；基于待编辑年龄信息从人脸年龄特征分类库中获取该待编辑年龄信息对应的人脸年龄特征编码；将人脸年龄编辑后图像经仿射逆变换后贴合到第i帧图像中，得到人脸年龄编辑后的视频帧；基于人脸年龄编辑后的视频帧生成人脸年龄编辑后的视频。本发明适用于计算机视觉技术领域、图像处理领域。

技术领域

本发明涉及一种基于视频时序的人脸年龄编辑方法。适用于计算机视觉技术领域、图像处理领域。

背景技术

随着计算机视觉的发展，人脸编辑成为了一个热门研究领域。围绕着人脸编辑又衍生出了很多细分研究方向，比如人脸年龄编辑，人脸发型编辑，人脸表情编辑和人脸姿态编辑等等。

现有的人脸年龄编辑方法，基本可以分为三个步骤：

第一步，手动提取人脸特征，包括人脸的轮廓、边缘、面部纹理、肤色及频率信息。

第二步，进行年龄估计，这一步需要设计Rank模型，因为人脸不同年龄间是存在相关性的，而且不同人之间的人脸衰老规律不具有一致性，所以不能单纯设计分类模型或者回归模型。

对第一步手动提取的人脸特征进行若干组分类，将当前人脸图像手工提取到的人脸特征与若干组分类进行比较，从而得到对应的人脸年龄估计值，这种方法较好地克服了人脸面部衰老的不相关性、人脸衰老规律不一致性。

第三步，对人脸手工提取到的特征进行更改，比如指定让当前人脸年龄变老10年，就需要在已完成分类的人脸特征中找到对应年龄阶段的特征，对当前人脸特征进行对应的更改，完成人脸年龄编辑。

近年来，随着对深度学习，生成对抗网络(GenerativeAdversarialNetworks，GAN)，尤其是风格迁移生成对抗网络(StyleGAN)的研究越来越多。StyleGAN是由映射网络和合成网络两部分构成。映射网络的作用是将输入图片进行特征解耦，生成隐空间。合成网络的作用是生成人脸图像，生成人脸图像的风格是由隐空间中的变量决定的，生成人脸图像的发丝、脸上的毛孔、皱纹等是由输入的随机噪声决定的。

利用StyleGAN对人脸图像进行人脸编辑，具有不错的效果，但对于人脸肖像视频就存在相邻帧间人脸编辑不一致，且人脸周边背景与原视频不一致的问题。视频中，相邻帧的人脸是有变化的，如果不考虑视频时序问题，会导致针对每一帧的人脸编辑后，前后帧不具有一致性，比如前一帧中人脸还存在胡子，后一帧中人脸的胡子就消失了。人脸年龄编辑后，存在人脸周边背景与原视频不一致，因为StyleGAN是对包含人脸及周边区域进行人脸编辑并重新生成的，所以非人脸的背景区域也是重新生成的，与原视频中的背景不一样。

发明内容

本发明要解决的技术问题是：针对上述存在的问题，提供一种基于视频时序的人脸年龄编辑方法。

本发明所采用的技术方案是：一种基于视频时序的人脸年龄编辑方法，其特征在于：

获取包含人脸的待编辑视频和待编辑年龄信息；

从待编辑视频的视频帧中裁剪出人脸图像，将人脸图像经仿射变换得到对齐后的人脸图像；

通过映射网络从待编辑视频第i帧图像的对齐后的人脸图像中获取人脸特征编码；

基于待编辑年龄信息从人脸年龄特征分类库中获取该待编辑年龄信息对应的人脸年龄特征编码；

将第i-1帧、第i帧和第i+1帧图像各自的人脸特征编码和人脸年龄特征编码结合后分别输入经训练的生成器，配合权重微调损失函数L_pt微调生成器权重参数；