[发明专利]人脸表情迁移方法、装置以及计算机设备

权利要求书

1.一种人脸表情迁移方法，其特征在于，所述方法包括：

获取第一人脸图像和第二人脸图像；

将所述第一人脸图像和所述第二人脸图像分别执行三维转换，得到对应的第三人脸图像和第四人脸图像；

通过预设的自监督表情重建模型提取所述第四人脸图像的表情数据并融合到所述第三人脸图像，得到新第三人脸图像；

对所述新第三人脸图像执行二维转换，得到新第一人脸图像，所述新第一人脸图像的表情与所述第二人脸图像的表情相一致。

2.如权利要求1所述的人脸表情迁移方法，其特征在于，所述将所述第一人脸图像和所述第二人脸图像分别执行三维转换，得到对应的第三人脸图像和第四人脸图像，包括：

通过学习在不进行三维监督的情况下从图像中回归三维人脸形状和表情的方式，分别从所述第一人脸图像和所述第二人脸图像中分别得到所述第三人脸图像和所述第四人脸图像。

3.如权利要求1或2所述的人脸表情迁移方法，其特征在于，所述自监督表情重建模型是预先将第五人脸图像和第六人脸图像作为训练数据对初始自监督表情重建模型进行训练得到的，其中，所述第五人脸图像和所述第六人脸图像均为三维图像。

4.如权利要求3所述的人脸表情迁移方法，其特征在于，所述将第五人脸图像和第六人脸图像作为训练数据对初始自监督表情重建模型进行训练，包括：

将所述第五人脸图像和所述第六人脸图像输入到初始自监督表情重建模型进行训练，输出第七人脸图像和第八人脸图像，其中，所述第七人脸图像包括所述第五人脸图像的人脸且表情与所述第六人脸图像的表情相一致，所述第八人脸图像包括所述第六人脸图像的人脸且表情与所述第五人脸图像的表情相一致；

将所述第七人脸图像和所述第八人脸图像输入到初始自监督表情重建模型进行训练，输出第九人脸图像和第十人脸图像，其中，所述第九人脸图像包括所述第五人脸图像的人脸且表情与所述第五人脸图像的表情相一致，所述第十人脸图像包括所述第六人脸图像的人脸且表情与所述第六人脸图像的表情相一致；

判断所述第九人脸图像的表情与所述第五人脸的表情的相似度是否超过预设的第一阈值和/或所述第十人脸图像的表情与所述第六人脸的表情的相似度是否超过预设的第二阈值；

若所述第九人脸图像的表情与所述第五人脸的表情的相似度超过所述第一阈值和/或所述第十人脸图像的表情与所述第六人脸的表情的相似度超过所第二阈值，将训练后的初始自监督表情重建模型作为自监督表情重建模型输出；否则，重复执行以上训练步骤。

5.如权利要求1-4中任一项所述的人脸表情迁移方法，其特征在于，所述通过预设的自监督表情重建模型提取所述第四人脸图像的表情数据并融合到所述第三人脸图像，得到新第三人脸图像，包括：

根据所述自监督表情重建模型中的编码器，对第三和第四人脸图像进行编码，得到编码的第三和第四人脸表情特征；

根据所述自监督表情重建模型中的特征提取网络，对第四人脸的表情数据和第四人脸的无表情数据之间的差值进行特征提取，得到差值的特征；

通过所述自监督表情重建模型中的解码器，将所述第四人脸差值的特征和第三人脸表情特征进行融合解码，得到新第三人脸表情图像。

6.如权利要求5所述的人脸表情迁移方法，其特征在于，所述编码器和/或所述解码器为所述自监督表情重建模型中的深度学习子网络。

7.如权利要求1-6中任一项所述的人脸表情迁移方法，其特征在于，所述自监督表情重建模型中的深度学习卷积神经网络的公式包括：

其中，A函数表示图模型；l为深度学习卷积神经网络的层，v为人脸图像中的所有标识点，u为v为人脸图像中的普通标识点，a为人脸图像中的关键点，M为动态加权矩阵。