[发明专利]三维语义噪声驱动的人脸合成操纵方法和装置

说明书

本发明提供一种三维语义噪声驱动的人脸合成操纵方法和装置，其中方法包括：确定待处理人脸语义；生成所述待处理人脸语义对应的三维语义噪声；其中，不同人脸语义对应的三维语义噪声之间相互独立；利用人脸合成操纵模型，基于所述待处理人脸语义对应的三维语义噪声，生成人脸合成图像；或，基于所述待处理人脸语义对应的三维语义噪声，对待操纵人脸图像中的所述待处理人脸语义进行操纵，得到人脸操纵图像。本发明提供的三维语义噪声驱动的人脸合成操纵方法和装置，既可以单独操纵某一语义，又能通过重采样噪声生成多样化风格的图像，优化了人脸合成操纵的效果。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种三维语义噪声驱动的人脸合成操纵方法和装置。

背景技术

理想的人脸肖像合成和操纵是指根据给定的语义标签图(人脸解析图)合成语义信息一致的真实图像，并可以对语义内容进行多样化编辑的任务。常见的人脸语义有皮肤、眼睛和头发等。

人脸肖像合成和操纵在众多行业和企业具有应用场景和广阔市场，作为“AI内容生成”技术的重要组成，逐渐成为学术界和工业界的研究热点。人脸肖像合成和操纵技术正被广泛应用于影视、社交、娱乐、电商、科研等众多领域，并涌现出了许多创新性的应用形式。在影视制作中，可以通过该技术“一键”为影视剧演员进行肤色打光、发色编辑以及脸部年龄操纵等，免除了繁杂的化妆和换妆；在娱乐应用中，可以用于制作脸部特效、换脸视频、人脸动图等互动体验；在社交通讯中，为防止个人身份隐私泄露，可以通过该技术创建媲美真实人脸的全新人脸图像或者隐藏人脸身份特征；在广告宣传中，利用该技术合成的人脸和虚拟形象可言替代模特，免去了传统上使用他人肖像的授权；在科学研究中，可以通过该技术生成与真实人脸无异的图像训练模型，解决数据不足、人脸肖像隐私保护等问题。

最近几年，随着生成对抗网络在图像生成领域的发展和应用，人脸肖像合成和操纵任务取得了重大进步。然而，目前人脸肖像合成和操纵技术仍然面临两个局限性。一是现有方法常常只能根据语义标签图合成真实图像，无法对某一语义进行操纵和编辑。当合成的人脸某一语义出现伪影或者想要多样化语义风格时，已有方法难以解决。二是现有技术对真实图像进行语义编辑时，一是不能较好地保留不需要编辑语义的信息，二是只能从参考图像中学习新的语义风格，难以实现语义风格的多样化。如何实现语义可控的、风格多样的人脸肖像合成和操纵仍然是一个亟待解决的难题。

发明内容

本发明提供一种三维语义噪声驱动的人脸合成操纵方法和装置，用以解决现有技术中无法对某一语义进行操纵和编辑，且语义风格难以多样化的缺陷。

本发明提供一种三维语义噪声驱动的人脸合成操纵方法，包括：

确定待处理人脸语义；

生成所述待处理人脸语义对应的三维语义噪声；其中，不同人脸语义对应的三维语义噪声之间相互独立；

利用人脸合成操纵模型，基于所述待处理人脸语义对应的三维语义噪声，生成人脸合成图像；或，基于所述待处理人脸语义对应的三维语义噪声，对待操纵人脸图像中的所述待处理人脸语义进行操纵，得到人脸操纵图像。

根据本发明提供一种的三维语义噪声驱动的人脸合成操纵方法，所述基于所述待处理人脸语义对应的三维语义噪声，对待操纵人脸图像中的所述待处理人脸语义进行操纵，得到人脸操纵图像，具体包括：

基于所述人脸合成操纵模型中的编码器，对所述待操纵人脸图像进行特征提取，得到所述待操纵人脸图像的图像特征；

基于所述人脸合成操纵模型中的特征编辑器，将所述待处理人脸语义对应的三维语义噪声与所述图像特征中所述待处理人脸语义的图像特征编码交换，得到所述待操纵人脸图像的已编辑图像特征；

基于所述人脸合成操纵模型中的操纵图像生成器，根据所述已编辑图像特征，生成所述人脸操纵图像。