[发明专利]一种基于生成式对抗网络的图像风格迁移方法

摘要

一种基于生成式对抗网络的图像风格迁移方法，包括以下步骤：(1)生成随机输入；(2)构建生成网络；(3)构建判别网络；(4)输入风格图像和内容图像；(5)风格和内容的表征学习；(6)对抗训练；(7)输出合成图像。本发明的有益效果主要表现在：生成网络和判别网络的对抗训练结合了生成算法和判别算法的优点，二者的交替优化既提高了模型对高层特征的提取能力又使生成样本愈加逼真。无需手工设计特征，该方法成本较低、效率较高且生成样本质量佳，易于推广。

主权项

一种基于生成式对抗网络的图像风格迁移方法，包括以下步骤：步骤1，生成随机输入：通过对常见概率分布进行采样，得到随机输入矢量z∈Rd；步骤2，构建生成网络：构建生成网络G(.):Rd→RWxHxC，其中，W，H和C分别表示生成图像G(z)的宽、高和通道数量；步骤3，构建判别网络：分别构建风格判别网络Dsty和内容判别网络Dcont，其中，风格判别网络Dsty的输入为风格图像xsty或者生成器输出的图像G(z)，内容判别网络Dcont的输入为内容图像xcont或者G(z)；风格判别网络Dsty和内容判别网络Dcont的输出均为布尔值，即，当判别网络认为输入图像来自真实图像xsty或xcont时，输出1，反之输出0；步骤4，输入风格图像和内容图像：向风格判别网络Dsty输入任意尺寸的风格图像xsty，进行裁剪和去均值等图像预处理；向内容判别网络Dcont输入任意尺寸的内容图像xcont并进行去均值处理；步骤5，风格和内容的表征学习：利用自编码器的思想分别最小化基于风格和基于内容的重构误差，从而学习风格和内容的有效表征；5.1依式(1)度量层内特征图之间的相关性，从而获得输入图像的风格表征：Sijl=Σkhiklhjkl---(1)]]>其中，hlik和分别表示第l层第i和j个特征图中位置k处神经元的激活值；5.2依式(2)计算基于风格的重构误差：Lsty=Σlwl||S(G(z))-S(xsty)||22---(2)]]>其中，wl表示第l层的权重，用于反映第l层重构误差在总重构误差中的比重；S(G(z))表示生成图像G(z)的风格表示，S(xsty)表示风格图像xsty的风格表示；5.3依式(3)计算基于内容的重构误差，也即，像素距离：Lcont=Σ||G(z)-xcont||22---(3)]]>步骤6，对抗训练：风格判别网络Dsty和内容判别网络Dcont分别与生成网络G进行二元零和博弈，即，生成网络G尽可能生成逼真的图像，而风格判别网络Dsty和内容判别网络Dcont分别从风格角度和内容角度准确区分真实图像和生成图像；为了在博弈中胜出，生成网络与判别网络需不断提高各自的生成能力和判别能力，训练的过程实际上是寻找二者的纳什均衡；6.1依式(4)计算生成网络的对抗损失：LG_adv＝‑∑λ1log(Dsty(G(z)))+λ2log(Dcon(G(z)))        (4)6.2依式(5)计算判别网络的对抗损失：LD_adv=-λ1Σ[log(Dsty(xsty))+log(1-Dsty(G(z)))]+λ2Σ[log(Dcon(xcon))+log(1-Dcon(G(z)))]---(5)]]>其中，第一项和第二项分别表示风格判别网络Dsty和内容判别网络Dcont的对抗损失函数，每项中的前半部分表示判别器尽量使自己对真实图片xsty和xcont输出1，后半部分表示尽量对生成图片输出0，从而使得区分图片来源的准确率尽可能高；λ1和λ2分别表示基于风格的对抗网络与基于内容的对抗网络的权重；步骤7，输出合成图像：7.1依式(6)计算图像风格迁移的总损失函数：L＝λstyLsty+λcontLcont+λadvLG_adv         (6)其中，λsty，λcont和λG_adv分别表示基于风格、内容和对抗训练的损失函数在总损失函数中的权重；7.2依式(7)计算对图片进行更新：G(z):=G(z)-λ∂L∂G(z)---(7)]]>其中，λ是随机梯度下降的步长。