[发明专利]基于分类对抗网的自适应图像属性编辑模型和编辑方法

说明书

本发明提供了基于分类对抗网络的自适应图像属性编辑模型，通过构建上卷机残差网络和在判别器中增加属性对抗分类器Atta‑cls，同时实现了准确的属性转换和生成高质量图像的功能；采用上卷积残差网Tr‑resnet构造解码器，选择性地提取属性特征和内容特征，解决了深层编码器‑解码器结构中跳跃连接的局限性问题，增强了目标图像的属性特征，生成了更加精确和高质量的图像，提高了模型的性能。受生成对抗网络思想的影响，属性对抗分类器Atta‑cls针对属性差异以对抗学习的方式了解转换图像的不足，并根据不足进行进一步优化。本发明还通过属性连续性损失函数使评估的属性标签逼近源标签，保证了生成图像的属性连续性。

技术领域

本发明属于图像生成的属性编辑技术领域，具体涉及基于分类对抗网的自适应图像属性编辑模型和编辑方法。

背景技术

属性编辑又称属性转换，其目标是改变图像的属性，包括头发颜色、性别、风格等的一个或多个属性，同时保持其他属性不变。属性编辑的关键是实现准确的属性转换和生成高质量的图像。近年来，生成对抗网络GAN(Generative Adversarial Networks)极大地推动了属性编辑的发展。生成对抗网络GAN被定义为一个带有生成器和判别器的极小极大博弈，在这个博弈中，生成器生成尽可能逼真的图像，判别器试图将合成图像与原始图像区分开来。GAN已经应用于计算机视觉的各个领域，如：图像生成、图像转化、超分辨率图像生成和图像去模糊等。另外，各种生成对抗网络GANs和类似的变体被提出以加强图像质量和训练的稳定性，包括设计新颖的生成器/判别器架构，损失函数的选择，正则化技术的研究等。同时，GNAs也被应用于改变图像的局部属性(如头发颜色、添加配饰、改变面部表情等)或全局属性(如性别、年龄、风格等)，但现有方法存在转换效果较差或者需要很高的计算资源代价的问题。

为了获得准确的属性转换图像，可向生成对抗网络GAN中引入编码器-解码器结构进行特征提取。VAE/GAN是VAE和GAN的组合模型，该模型通过引入编码-解码器结构获取图像的高级语义信息来重构图像，通过重构损失和对抗损失来修正图像。尽管该方法具有良好的性能，但由于存在瓶颈层，可能导致生成的图像质量较差。为了解决这个问题，跳跃连接或其变体被应用到编码器-解码器结构中，该组合结构作为生成对抗网络的生成器以改善图像质量、呈现逼真的图像。然而，跳跃连接的使用带来了图像质量和转换精度之间的权衡，即它可以生成高质量的图像，但代价是属性精度较低。由于编码器输出的源属性特征和内容特征同时传输到解码器中,对源属性特征的过多关注会影响对目标属性特征的运用，即编码器-解码器结构中跳跃连接的局限性导致了模型属性转换性能的下降。为了解决这个问题，STGAN的工作引入了选择性转移单元(STU)作为一种新的跳连结构。然而这种STU需要更多的参数和计算资源，严重限制了应用。

条件生成对抗网络CGAN(Conditional Generative Adversarial Nets)是使GAN进行有监督的生成，CGAN将参考标签作为生成器和判别器的输入，生成与标签一致的特定图像。受到CGAN的启发，研究者们在样式转换和属性编辑方面做出了大量的贡献：关于风格转换，Pix2pix和CycleGAN这两种模型分别实现了成对和非成对图像在两个域之间的相互转换；在属性编辑中也存在一些双域转换模型(Genegan)。但双域转换方法的模型数量随着域的增加会呈指数增长，导致模型泛化能力较差，不具有普适性。StarGAN采用域分类约束来控制图像的属性转换，首次实现了属性的多域转换；但StarGAN通过循环一致性损失来重建原始图像，在循环过程中会影响高质量图像的生成。AttGAN模型采用了一种风格控制器，在源图像的基础上不仅实现了多域转换，而且实现了对特定属性的多模态变换；在多域转换的前提下，为了避免无关属性的影响，一方面，STGAN和 RelGAN都采用差值属性标签作为输入。另一方面，AME-GAN和AG-UIT都将输入图像信息分割成图像属性部分和图像背景部分。但同时实现准确的属性转换和生成高质量的图像仍是该领域存在的主要挑战。