[发明专利]一种名为MSGAN的图像的季节风格转换模型及方法

说明书

本发明涉及一种名为MSGAN的图像的季节风格转换模型及方法，包括生成器G、生成器F、第一真假鉴别器D_G、第二真假鉴别器D_F以及季节鉴别器D_S。生成器的目标是将输入的图像转化为其他特定的季节风格。真假鉴别器的作用是区分图像是否为合成图像。季节鉴别器对每个合成的图像和真实的图像进行季节分类。这两个鉴别器分别都可以对生成器提供指导。为了给出网络正确的优化方向，MSGAN分别使用了风格损失，结构相似度损失和颜色损失去提高生成器的生成能力。不仅如此，MSGAN还首次使用了图像的显著性信息来对图像风格转换任务进行指导，使得图像风格转换的结果更加符合人眼真实的情况。

技术领域

本发明涉及图像处理技术领域，特别是一种名为MSGAN的图像的季节风格转换模型及方法。

背景技术

近几年来，卡通、动漫、3D电影已经成为了深受人们喜爱的艺术形式，它们的优点在于可以通过计算机软件来进行人物形象和场景的设计并用它们去演绎剧本。在动漫作品不仅需要设计人员对人物形象进行设计，还需要对作品中出现的场景进行绘制。由于故事情节的复杂性和多样性，同一场景的季节风格也会经常随着剧情而发生季节转化。不仅是动漫作品，许多常规的电影或者电视剧也需要此类特效。然而，设计人员手动的利用电脑软件来完成季节转换任务是一项很耗时的，并且需要很多相关的软件技巧。因此，设计一种特殊的算法来使电影或卡通场景中的季节场景可以自动的进行转换是一项重要的任务，可以减轻大多数的影视作品的制作成本和时间，以至于可以令工作者们可以专注于与影视作品有关的其他工作。不仅如此，该算法还能嵌入到一些软件中来提升该软件的性能，比如Photoshop。

将图片进行风格迁移，使其进行风格转换的技术已经成为了近几年来研究的热点问题。传统的方法致力于去设计一个特定的图像滤波算法，从而将原始图像迁移到固定的令一种风格当中。然而，许多复杂的风格转换任务需要将原始图像转化成为多种不同风格的图像，比如季节转换任务。因此，固定的图像滤波算法无法完成这一任务。最近，基于深度学习的图像风格迁移方法成为了主流方法，这种方法可以将输入的图像的风格转移到给定的风格当中。特别是生成式对抗网络可以取得很好的图像风格迁移效果。

尽管生成式对抗网络已经取得了重大的成功，可是目前的方法并不能去很好的完成季节风格迁移任务。这其中主要是有三个原因：首先，季节转换与其他风格转换任务不同，有些时候需要在原图中添加或者减少某些元素，例如冬季场景下的图像要比其他季节图像里增加一些雪和减少一些树叶，这在风格迁移任务中是一个难点。第二，一般来说季节变化的主要特征是颜色的变换，而大多数的图像风格迁移都是专注于对原始图像中增加图像的纹理，而忽略了颜色的变化。第三，在进行季节风格转换时，不同的内容受季节变化影响的程度不同，比如树叶分别在春季和秋季时呈现绿色和黄色，而树干的颜色却并没有多大变化，但传统的图像风格迁移算法又很难对图像的内容进行识别。

发明内容

有鉴于此，本发明的目的是提出一种名为MSGAN的图像的季节风格转换模型及方法，该模型能够使用对未配对的不同季节的图像进行训练，同时能够产生出更好的季节风格转换效果。

本发明采用以下方案实现：一种名为MSGAN的图像的季节风格转换模型，其特征在于，包括生成器G、生成器F、第一真假鉴别器D_G、第二真假鉴别器D_F以及季节鉴别器D_S；

所述生成器G的输入包括输入图像以及携带输入的季节风格信息的条件向量，所述生成器G将输入的图像转化为由条件向量确定的季节风格的图像；所述第一真假鉴别器D_G区分生成器G转换后的图像是否为合成图像，并将结果反馈给生成器G，用以对生成器G提供指导；所述季节鉴别器D_S对每个合成的图像或真实的图像进行季节分类，并将结果反馈给生成器G，用以对生成器G提供指导；