[发明专利]一种基于生成对抗机制的多人表情迁移方法

说明书

本发明提供一种基于生成对抗机制的多人表情迁移方法，包括Landmark转换器(ψ)和人脸生成器参考人员静止状态下图像记为对应landmark向量记为待迁移表情图像对应landmark向量为对参考人员静止状态下landmark向量进行特征处理的网络结构对参考人员迁移表情landmark向量进行特征处理的网络结构其中经上述网络结构和网络结构的特征在通道层面进行拼接后送入网络结构本发明方法基于Py‑Torch深度学习框架，先在几何空间对人员表情的landmark进行转换，然后使用对抗生成模型设计思想将转换后的landmark与参考图像结合并生成真实的目标图像。

技术领域

本发明涉及一种表情迁移方法，具体地，涉及一种基于生成对抗机制的多人表情迁移方法。

背景技术

表情迁移技术在很多场景下都有极大的应用潜力，比如电影制作，动画制作等。随着深度学习的发展及计算机算力的增加，许多基于深度学习的表情迁移方法都取得了不错的效果，能够实现不同人之间的表情迁移且生成逼真的迁移人脸图像。但已有的方法一般只能针对特定人物进行训练，当模型训练完毕后只能对该特定人物进行表情迁移及人脸生成，不能适用于同时针对多人表情迁移的场景，极大地限制了该方法的应用潜力。针对这一问题，亟待一种更普世的多人之间表情迁移方法，其能够在训练完毕后实现不同人(多人)之间的表情迁移，甚至可以在未知的人物上进行表情迁移。

发明内容

本发明针对目前的方法不能很好地使用一个模型实现多人之间表情迁移这一问题，提出了一种基于生成对抗机制的多人表情迁移方法。

为达到上述目的，本发明采取了如下的技术方案：

一种基于生成对抗机制的多人表情迁移方法，包括Landmark转换器(ψ)和人脸生成器所述Landmark转换器(ψ)是由多个全连接层、ReLU激活函数层组成，其中，参考人员静止状态下(面无表情面朝镜头方向)图像记为对应landmark向量记为待迁移表情图像对应landmark向量为对参考人员静止状态下landmark向量进行特征处理的网络结构对参考人员迁移表情landmark向量进行特征处理的网络结构其中经上述网络结构和网络结构的特征在通道层面进行拼接后送入网络结构

输入参考人员静止状态下landmark向量待迁移表情landmark向量分别经网络结构网络结构提取图像特征后由网络结构进一步进行特征融合，这样经过网络结构和后得到偏置landmark向量(l_shift)，其值代表每个landmark向量相对于参考人员静止状态landmark向量的偏移量，最后偏置landmark向量(l_shift)通过和参考人员静止状态landmark向量相加输出参考人员表情迁移后的landmark向量从而完成在landmark向量几何空间上的表情迁移；

Landmark转换器(ψ)生成的参考人员表情迁移后的landmark向量在送入人脸生成器前需转换为参考人员表情迁移后的landmark图像其方式为以参考人员表情迁移后的landmark向量包含的每一个landmark坐标点为中心，在128*128大小的图像上画半径为2的实心圆；

所述人脸生成器是由多个卷积层、反卷积层、批归一化层和ReLU激活函数层组成，输入参考人员图像参考人员表情迁移后的landmark向量分别经网络结构网络结构提取图像特征后由网络结构进一步进行特征融合，最后经网络结构解码得到参考人员表情迁移后的图像

在进行前向推理时，输入参考人员静止状态landmark向量和迁移表情landmark 向量先通过Landmark转换器(ψ)生成参考人员表情迁移后的landmark向量并将之转化为landmark图像形式然后和参考人员图像一起送入人脸生成器生成参考人员表情迁移后的图像

使用不同的迁移表情landmark向量和不同的参考人员图像作为输入，生成不同的参考人员表情迁移后的图像这样使用一个模型即可实现了多人表情迁移。