[发明专利]一种基于生成对抗网络的多域图像风格迁移方法

摘要

本发明提供一种基于生成对抗网络的多域图像风格迁移方法，属于计算机视觉领域，用来实现图像到多种不同艺术风格的转换。本发明设计了一个专家风格网络，通过一组双向重构损失，来抽取不同目标域的输入图像中包含各自域独特信息的风格特征编码。同时设计了一个迁移网络，结合自适应实例标准化，将抽取到的风格特征编码与内容编码器提取到的跨域共享的语义内容重新组合，生成新的图像，从而实现图像从源域到多个目标域的风格迁移。实验表明模型能够有效地将任意照片的内容与众多艺术品的风格相结合，产生新的图像。

主权项

1.一种基于生成对抗网络的多域图像风格迁移方法，其特征在于，包括如下步骤：步骤一图像的预处理通过Python的图像处理模块，对真实图像x_i,i＝1,2,...,n进行统一的处理，并把它们缩放为统一的像素大小；其中，将真实图像x₁称为真实的源域图像，将真实图像x_i,i＝2,...,n称为真实的目标域图像；步骤二提取语义内容将真实的源域图像x₁输入到内容编码器E_c中；E_c通过解码真实的源域图像x₁，抽取出在迁移过程中共享的语义内容，即内容特征c₁＝E_c(x₁)；步骤三提取风格特征将真实图像x_i,i＝1,2,...,n分别输入到风格编码器E_s中；E_s通过解码图像，抽取出包含各个域独特信息的风格特征s_i＝E_s(x_i),i＝1,2,..,n；步骤四生成图像将抽取出的内容特征c₁和抽取出的风格特征s_i输入到迁移网络T中，迁移网络将内容特征与风格特征重新组合，生成新的图像，该图像具有真实的源域图像x₁的内容特征和真实图像x_i,i＝1,2,...,n的风格特征；从高斯分布中随机采样风格特征s_ri，将内容特征c₁和随机采样来的风格特征s_ri输入到迁移网络T中，生成新的图像；步骤五判别图像将步骤四中生成的两种新的图像均输入判别器D进行判别，判别器将区分输入图像是真实图像，还是风格迁移后的图像；步骤六计算损失函数使用一组双向重构损失，即自重构损失和内容特征重构损失风格特征重构损失来鼓励风格编码器E_s、内容编码器E_c和迁移网络T的学习：其中，p(x₁)是x₁的分布，p(c₁)是c₁的分布，q(s_ri)是s_ri的分布，服从高斯分布；使用生成对抗损失来鼓励迁移网络T生成逼真的图像：其中，p(s_i)是s_i的分布，p(x_i)是x_i的数据分布，D(x_i)表示判别真实图像；步骤七网络优化及参数调整模型通过一个联合损失函数L(E_c,E_s,T,D)，采用Adam优化算法，更新E_c，E_s，T和D的网络参数：其中，λ₁，λ₂，λ₃，λ₄为超参数；步骤八重复T次步骤二至步骤七；步骤九测试阶段将真实的源域图像x₁输入内容编码器，将任意的真实的目标域图像x_i输入风格编码器，经过迁移网络T转换后，即得到具有源域内容与目标域风格的图像。