[发明专利]肖像风格迁移模型训练方法、肖像风格迁移方法以及装置

权利要求书

1.一种肖像风格迁移模型训练方法，其特征在于，包括：

获取用户肖像图以及绘画风格肖像图；

根据用户肖像图以及预先构建的相应于所述绘画风格肖像图的肖像风格迁移模型，获得中间生成图；所述肖像风格迁移模型基于深度卷积神经网络架构构建；

从用户肖像图中提取包含语义特征的人脸信息；

根据所述人脸信息，对所述绘画风格肖像图及其脸部掩码图进行变形，得到与所述用户肖像图中人脸信息一致的风格配准图和掩码配准图；所述根据所述人脸信息，对所述绘画风格肖像图及其脸部掩码图进行变形包括：根据所述人脸信息，确定所述用户肖像图、所述绘画风格肖像图及其脸部掩码图中人脸的位置；基于所述用户肖像图、所述绘画风格肖像图及其脸部掩码图中的人脸位置的对应关系，将所述绘画风格肖像图及其脸部掩码图向所述用户肖像图配准；

利用所述用户肖像图、所述中间生成图、所述风格配准图以及所述掩码配准图，计算训练目标总损失；

基于所述训练目标总损失，对肖像风格迁移模型中的参数进行更新；

重复获得中间生成图、计算总损失以及更新模型参数的过程，直至训练过程收敛。

2.根据权利要求1所述的肖像风格迁移模型训练方法，其特征在于，所述根据所述人脸信息，确定所述用户肖像图、所述绘画风格肖像图及其脸部掩码图中人脸的位置包括：

基于人脸信息，分别在所述用户肖像图、所述绘画风格肖像图及其脸部掩码图中确定人脸特征点的坐标；

根据各图像中的人脸特征点的坐标以及各图像的四个顶点，对所述用户肖像图、所述绘画风格肖像图及其脸部掩码图进行三角剖分处理。

3.根据权利要求1所述的肖像风格迁移模型训练方法，其特征在于，所述利用所述用户肖像图、所述中间生成图、所述风格配准图以及所述掩码配准图，计算训练目标总损失包括：

根据所述用户肖像图以及所述中间生成图确定内容损失；

根据所述风格配准图以及所述中间生成图确定风格损失；

根据所述用户肖像图、所述中间生成图以及所述掩码配准图确定纹理细节损失；

根据所述中间生成图、所述风格配准图以及所述掩码配准图确定局部风格损失。

4.根据权利要求3所述的肖像风格迁移模型训练方法，其特征在于，所述根据所述用户肖像图、所述中间生成图以及所述掩码配准图确定纹理细节损失包括：

分别在所述用户肖像图以及所述中间生成图中，且基于所述掩码配准图表征的人脸区域内，提取高频信息；

根据所述用户肖像图以及所述中间生成图的高频信息相似性，确定所述纹理细节损失。

5.根据权利要求3所述的肖像风格迁移模型训练方法，其特征在于，所述根据所述中间生成图、所述风格配准图以及所述掩码配准图确定局部风格损失包括：

分别提取所述中间生成图以及所述风格配准图的浅层特征；

对所述掩码配准图进行降分辨率处理；

基于降分辨率后的所述掩码配准图表征的人脸区域，结合所述浅层特征，确定所述局部风格损失。

6.一种肖像风格迁移方法，其特征在于，包括：

接收待处理用户肖像图；

将所述待处理用户肖像图输入至经由权利要求1～5任一项所述肖像风格迁移模型训练方法训练后得到的肖像风格迁移模型，进行肖像风格迁移处理；

输出经所述肖像风格迁移模型生成的绘画风格用户肖像图。

7.一种肖像风格迁移装置，其特征在于，包括：

用户肖像接收模块，用于接收待处理用户肖像图；

风格迁移处理模块，用于将所述待处理用户肖像图输入至经由权利要求1～5任一项所述肖像风格迁移模型训练方法训练后得到的肖像风格迁移模型，进行肖像风格迁移处理；

最终图像输出模块，用于输出经所述肖像风格迁移模型生成的绘画风格用户肖像图。

8.一种肖像风格迁移设备，其特征在于，包括：

一个或多个处理器、存储器以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述设备执行权利要求6所述的肖像风格迁移方法。