[发明专利]一种基于对偶学习的无监督图像风格迁移方法

摘要

本发明涉及一种基于对偶学习的无监督图像风格迁移方法，属于计算机视觉领域。本发明首先预处理训练数据，然后设计生成器和判别器的网络结构；接下来设计损失函数并用训练数据和损失函数对生成器、判别器进行训练得到无监督图像风格迁移网络ST：引入美学评分模型，最大化生成图像的美学质量评分；同时使用图像的基本像素特征和高级语义特征，作为无监督训练的对偶一致性约束，并动态调整这两种特征的权重；使用风格平衡技术，自适应地调节模型不同风格迁移方向上的收敛速度；最后应用ST对输入图像进行风格迁移。对比现有方法，本发明能生成更高质量的目标图像，具有良好的普适性，同时使模型的训练过程更加稳定，网络结构的选择和设计更加灵活。

主权项

1.一种基于对偶学习的无监督图像风格迁移方法，其特征在于，包括以下步骤：/n步骤1：预处理训练数据；/n准备两种风格的一定数目的图像作为训练数据；将训练数据集中所有图像统一缩放为m×n的固定尺寸；其中，m和n为自然数；/n步骤2：设计网络结构模型；/n网络结构模型共包含五个网络：风格迁移网络G_A、G_B，判别网络D_A、D_B，美学评分网络N_s；/n其中，G_A、G_B具有相同的网络结构，分别用于不同方向的图像风格迁移；D_A、D_B具有相同的网络结构，分别判断不同风格的某图像是否真实；N_s是预训练的美学评分模型，作为整个网络的插件使用，本身不参与更新；整个模型由端到端训练的深度卷积神经网络构成；/n对于A风格原始图像a₀，首先经G_B生成B风格生成图像b₁，再经G_A生成A风格重建图像a₂；对于B风格原始图像b₀，首先经G_A生成A风格生成图像a₁，再经G_B生成B风格重建图像b₂；/n步骤3：设计用于训练网络的损失函数；/n采用多种损失函数相结合，网络的损失函数包含四部分：对抗损失L_adv、美学损失L_aes、对偶一致性损失L_dual、风格平衡损失L_style；整体损失函数Loss为：/nLoss＝L_adv+λ₁L_aes+λ_2Ldual+λ₃L_style/n其中，λ₁、λ₂、λ₃分别表示美学损失L_aes、对偶一致性损失L_dual、风格平衡损失L_style的权重；/n对抗损失L_adv使用最小二乘损失，对于D_A和G_A，分别表示如下：/n /n /n对于D_B和G_B，则分别表示如下：/n /n /n其中，D_A(·)表示判别网络D_A对图像·的判别结果，D_B(·)表示判别网络D_B对图像·的判别结果；G_A(·)表示图像·经过风格迁移网络G_#转换后的结果，G_B(·)表示图像·经过风格迁移网络G_B转换后的结果；表示·关于a₀的数学期望，表示·关于b₀的数学期望。/n美学损失L_aes通过美学模型进行计算，表示如下：/n /n其中，K是自然数，N_s分别给出评分为1-K分的概率，p_i表示评分为i的概率；美学损失通过最大化生成图像的美学评分期望，指导风格迁移网络的训练，以消除图像噪点和畸变；/n对偶一致性损失L_dual同时使用基本像素特征和高级语义特征，并进行一阶范式约束，即L₁约束，用于约束风格迁移后的图像与原图像在内容上有对应关系，表示如下：/nL_dual＝θ_pL_p+θ_sL_s/n其中，L_p、L_s分别表示基本像素特征的L₁约束和来自判别网络的高级语义特征的L₁约束，θ_p、θ_s用于动态调整像素约束和语义约束的权重；/n像素约束L_p表示如下：/n /n语义约束L_s表示如下：/n /n其中，||·||₁表示·的L₁约束；/n风格平衡损失L_style主要用于平衡不同方向上的训练速度，以保证联合训练时的模型可以取得较好的效果；对于风格迁移网络，表示如下：/n /n其中，分别表示G_A,G_B的对抗损失；/n对于判别网络，表示如下：/n /n其中，分别表示D_A,D_B的对抗损失；/n步骤4：用步骤1的预处理训练数据、步骤3的损失函数，训练步骤2的网络模型得到无监督图像风格迁移网络S_T；/n步骤5：进行风格迁移应用，将待转换图像输入步骤4得到的风格迁移网络S_T，得到风格迁移后的图像。/n