[发明专利]一种基于对偶学习的无监督图像风格迁移方法

权利要求书

1.一种基于对偶学习的无监督图像风格迁移方法，其特征在于，包括以下步骤：

步骤1：预处理训练数据；

准备两种风格的一定数目的图像作为训练数据；将训练数据集中所有图像统一缩放为m×n的固定尺寸；其中，m和n为自然数；

步骤2：设计网络结构模型；

网络结构模型共包含五个网络：风格迁移网络G_A、G_B，判别网络D_A、D_B，美学评分网络N_s；

其中，G_A、G_B具有相同的网络结构，分别用于不同方向的图像风格迁移；D_A、D_B具有相同的网络结构，分别判断不同风格的某图像是否真实；N_s是预训练的美学评分模型，作为整个网络的插件使用，本身不参与更新；整个模型由端到端训练的深度卷积神经网络构成；

对于A风格原始图像a₀，首先经G_B生成B风格生成图像b₁，再经G_A生成A风格重建图像a₂；对于B风格原始图像b₀，首先经G_A生成A风格生成图像a₁，再经G_B生成B风格重建图像b₂；

步骤3：设计用于训练网络的损失函数；

采用多种损失函数相结合，网络的损失函数包含四部分：对抗损失L_adv、美学损失L_aes、对偶一致性损失L_dual、风格平衡损失L_style；整体损失函数Loss为：

Loss＝L_adv+λ₁L_aes+λ₂L_dual+λ₃L_style

其中，λ₁、λ₂、λ₃分别表示美学损失L_aes、对偶一致性损失L_dual、风格平衡损失L_style的权重；

对抗损失L_adv使用最小二乘损失，对于D_A和G_A，分别表示如下：

对于D_B和G_B，则分别表示如下：

其中，D_A(·)表示判别网络D_A对图像·的判别结果，D_B(·)表示判别网络D_B对图像·的判别结果；G_A(·)表示图像·经过风格迁移网络G_A转换后的结果，G_B(·)表示图像·经过风格迁移网络G_B转换后的结果；表示·关于a₀的数学期望，表示·关于b₀的数学期望。

美学损失L_aes通过美学模型进行计算，表示如下：

其中，K是自然数，N_s分别给出评分为1-K分的概率，p_i表示评分为i的概率；美学损失通过最大化生成图像的美学评分期望，指导风格迁移网络的训练，以消除图像噪点和畸变；

对偶一致性损失L_dual同时使用基本像素特征和高级语义特征，并进行一阶范式约束，即L₁约束，用于约束风格迁移后的图像与原图像在内容上有对应关系，表示如下：

L_dual＝θ_pL_p+θ_sL_s

其中，L_p、L_s分别表示基本像素特征的L₁约束和来自判别网络的高级语义特征的L₁约束，θ_p、θ_s用于动态调整像素约束和语义约束的权重；

像素约束L_p表示如下：

语义约束L_s表示如下：

其中，||·||₁表示·的L₁约束；

风格平衡损失L_style主要用于平衡不同方向上的训练速度，以保证联合训练时的模型可以取得较好的效果；对于风格迁移网络，表示如下：

其中，分别表示G_A，G_B的对抗损失；

对于判别网络，表示如下：

其中，分别表示D_A，D_B的对抗损失；

步骤4：用步骤1的预处理训练数据、步骤3的损失函数，训练步骤2的网络模型得到无监督图像风格迁移网络S_T；

步骤5：进行风格迁移应用，将待转换图像输入步骤4得到的风格迁移网络S_T，得到风格迁移后的图像。