[发明专利]一种基于区域对比学习的图像显著性可视化方法

说明书

该发明公开了一种基于区域对比学习的图像显著性可视化方法，属于计算机视觉领域。该方法在算法的第一阶段，选用生成对抗网络作为基础框架，首次将区域对比损失应用于显著性目标检测任务，充分利用了有标签的显著性检测数据集的图像信息，利用了不同图像区域之间的关联，在显著性检测结果中保留了更多的边界信息，并改进显著性检测结果；在第二阶段，则通过预训练的显著性检测模型摄入了额外的数据信息，且以自监督的方式引入生成图像的区域对比损失，从而约束GAN的生成过程，提升了GAN模型的鲁棒性，且对生成结果生成显著性图像进行可视化，从而提升了模型的可解释性。

技术领域

本发明属于计算机视觉领域，主要涉及生成对抗网络中生成图像显著性可视化问题，主要应用于人机交互以及机器视觉理解等领域。

背景技术

生成对抗网络(Generative Adversarial Network,GAN)在近年来得到了深度学习社区广泛的关注，并取得了快速发展。由于良好的生成能力，GAN在图像生成、图像翻译等领域已有较为成熟的应用，但深度学习的“黑匣子”特性，导致原始GAN的生成过程缺乏明确的解释，从而无法得到让用户信赖的决策。因此，在图像生成等领域的实际需求下，GAN中生成图像的可解释性得到了越来越多的关注。例如：在图像生成领域，生成图像的可解释性可以帮助找到网络输入与生成结果的联系，从而实现对模型的可控与可解释；在图像翻译领域，通过对域转换图像的可解释性分析，进而关注图像显著性区域，有利于实现更高质量的图像生成。现有的针对GAN中生成图像可解释性的算法，主要分为基于输入隐空间的可解释性方法和基于中间特征的可解释性方法。

基于输入隐空间的方法主要是学习隐编码与生成图像之间的对应关系，通常通过最大化隐编码与生成图像之间的互信息去进行解纠缠模型的学习。目前常用的算法包括InfoGAN和InfoGAN-CR等，但是这些方法隐式地计算两个不同域的互信息，存在一定的不准确性且导致模型难以优化。参见文献：Chen,Xi,et al.“InfoGAN:InterpretableRepresentation Learning by Information Maximizing Generative AdversarialNets.”International Conference on Neural Information Processing Systems,vol.29,2016,pp.2180–2188.和Lin,Zinan,et al.“InfoGAN-CR and Model Centrality:Self-Supervised Model Training and Selection for Disentangling GANs.”International Conference on Machine Learning,2020,pp.6127–6139.

基于中间特征的方法主要是通过属性分类器等寻找生成器的特征图单元与类别目标之间的联系，去探究特征单元与类别之间的一致性与因果关系。目前经典的算法为GANDissection，但该方法包含多个分支，且引入语义分割网络，导致模型过于复杂，并且未利用可解释性结果改善GAN本身的训练过程。参见文献：Bau,David,et al.“GAN Dissection:Visualizing and Understanding Generative Adversarial Networks.”InternationalConference on Learning Representations,2018.

近年来，随着深度学习理论的不断发展，借助于深度网络的发展与应用，已有大量的工作对GAN的可解释性进行了研究，但仍存在或多或少的缺点，GAN中生成图像的可解释性还有很多值得挖掘改进的地方。此外，虽然有部分工作基于GAN进行显著性检测任务的研究，但至今仍未出现将显著性检测方法用于GAN中生成图像的显著性可视化并辅助GAN生成过程训练的算法，本发明将围绕这个角度展开工作，提出了一种基于区域对比学习的生成对抗网络中生成图像显著性可视化方法。

发明内容