[发明专利]基于美学引导的人脸智能美化方法及系统

说明书

本发明涉及一种基于美学引导的人脸智能美化方法，旨在通过人脸美丽评价模型的引导从而实现用户自适应的人脸智能美化效果。本发明主要分为这几个步骤：1）生成潜码：由编码器对图像进行编码生成代表图像内容信息的低维潜码；2）图像重建：由生成器将低维潜码映射成重建图像；3）生成器反演：由人脸美丽评价模型计算重建图像的美丽度与目标美丽度的距离损失，并由该损失引导生成器反演，从而更新潜码。其中，第二步与第三步不断进行迭代直至算法收敛。本发明通过人脸美丽评价模型的美学信息引导，以及StyleGAN的反演技术，在潜码空间中对人脸进行修改、美化，从而使得重建图像得到了智能的美化效果。

技术领域

本发明涉及图像处理领域，具体涉及一种基于美学引导的人脸智能美化方法及系统。

背景技术

目前已有的人脸美化算法通常是分别基于皮肤纹理或者五官轮廓的美化算法。其中，皮肤纹理美化旨在减少面部瑕疵、或增加皮肤光泽，一般通过设计平滑算子对图像进行滤波、或根据一张参照脸将它的妆容迁移到目标脸上。而对五官轮廓的美化算法则旨在通过几何形变获得更具有吸引力的人脸结构，一般通过将目标脸的脸部关键点与一个平均脸的关键点模板进行匹配，或者使用深度模型学习一个更具有吸引力的脸部关键点模板。然而，现有的人脸美化算法较少考虑到这些美化是否符合人们的美学认知，例如，有些吸引力较高的人脸经过美化之后吸引力反而下降了；另一方面，大多算法都没有考虑到用户的个人偏好，例如有的用户需要更明显的人脸美化效果，而有的用户希望保留更多的个人特征，而大部分技术都难以达到针对用户需求定制化的人脸智能美化效果。

发明内容

有鉴于此，本发明的目的在于提供一种基于美学引导的人脸智能美化方法及系统，解决现有人脸美化技术缺少美学信息的引导、且不能考虑用户个人偏好等问题。

为实现上述目的，本发明采用如下技术方案：

一种基于美学引导的人脸智能美化方法，包括以下步骤：

步骤S1：对图像进行编码生成代表图像内容信息的低维潜码；

步骤S2：将低维潜码映射成重建图像；

步骤S3：基于人脸美丽评价模型计算重建图像的美丽度与目标美丽度的距离损失，并由该损失引导生成器反演，从而更新潜码步骤S4：循环步骤S2和S3，直至满足预设需求，得到美化后的图像。

进一步的，所述步骤S1具体为：通过预训练好的权重为θ_e的编码器E将每个输入图像x编码为低维潜码ω_c∈W：

ω_c＝E(x|θ_e)

其中，ω_c(ω_c∈R⁵¹²)是一种内容潜码，是对面部内容的粗略信息进行编码。

进一步的，所述步骤S2具体为：

步骤S2.1：将低维潜码ω_c输入到预训练好的权重为θ_g的生成器G进行面部重建，生成粗粒度图像x_ω：

x_ω＝G(ω_c|θ_g)

步骤S2.2：使用预训练好权重为θ_t的编码器T将图像x和x_ω联合编码为外观潜码ω_a：

ω_a＝T(x,x_w|θ_t)

步骤S2.3：将内容潜码ω_c和外观潜码ω_a结合在一起，通过将ω_a作为动态残差权重添加到生成器的权重θ_g,使生成器G生成重建图像