[发明专利]一种基于跨域协同学习的图像去雨方法

说明书

本发明公开了一种基于跨域协同学习的图像去雨方法，构建基于多尺度注意力残差模块的双分支图像去雨网络，通过面向合成领域的跨域协同学习策略，减少不同合成领域雨纹信息分布差异对于双分支图像去雨模型去雨效果的影响，通过面向真实领域的跨域学习策略，降低真实领域和合成领域雨纹信息分布差异对于双分支图像去雨模型去雨表现的影响。本发明提高了图像去雨模型对于不同领域样本雨纹信息的学习能力，减少了不同领域雨纹信息分布差异对于图像去雨模型去雨表现的影响，增强了图像去雨模型的鲁棒性和泛化能力。

技术领域

本发明涉及图像修复与增强领域，具体涉及一种基于跨域协同学习的图像去雨方法。

背景技术

在雨天气候条件下拍摄的照片经常是低质量的，这些由于雨纹而导致的图像质量退化将影响一系列计算机视觉任务，例如，目标检测，图像识别等。因此，设计有效的图像去雨算法对计算机视觉算法的实际应用至关重要。

目前，深度学习已经在图像去雨任务上取得优异的表现。例如，Zhang等人提出一个基于条件生成对抗网络的单张图像去雨模型，并利用感知损失函数进一步提高去雨效果(He Zhang,Vishwanath Sindagi,and Vishal M.Patel，“Image de-raining using aconditional generative adversarial network”，IEEE Transactions on Circuits andSystems for Video Technology,2020，30(11)：3943-3956)。Yang等人设计一个基于深度循环空洞网络的雨纹检测模型和去雨模型，来提高网络的图像去雨表现(Wenhan Yang,Robby T.Tan,Jiashi Feng,Jiaying Liu,Zong ming Guo,and Shuicheng Yan，“DeepJoint Rain Detection and Removal from a Single Image”，In2017IEEE Conferenceon Computer Vision and Pattern Recognition，June 2017)。但是，目前基于深度学习的图像去雨模型仍存在两大不足之处：第一，真实环境中很难获得充足的成对的图像去雨数据，因此，无法直接利用现有的基于监督学习的合成图像去雨模型实现真实图像去雨任务。第二，真实雨纹信息和合成雨纹信息存在一定分布差异，直接利用在合成数据上训练好的图像去雨模型测试真实图像去雨数据，很难得到满意的结果。因此，如何利用现有的成对的合成图像去雨数据和无标签的真实图像去雨数据构建一个真实图像去雨模型是目前图像去雨领域亟待解决的重要问题之一。

为解决上述问题，Yasarla等人设计了一种基于高斯过程的半监督图像去雨方法，使得在合成数据集上训练的去雨网络对真实环境含雨图像具有很好的泛化能力(R.Yasarla,V.A.Sindagi,and V.M.Patel,“Syn2real transfer learning for imagederaining using gaussian processes,”in The IEEE/CVF Conference on ComputerVision and Pattern Recognition(CVPR),June 2020.)。但是上述方法只考虑考到合成域和真实域中雨纹信息的分布差异，没有考虑不同合成域之间雨纹信息的分布偏差。

发明内容

本发明的目的在于提供一种基于跨域协同学习的图像去雨方法，同时解决不同合成域之间与合成域和真实域之间的雨纹信息分布差异对于图像去雨模型的去雨表现的影响，提高图像去雨模型的鲁棒性和泛化能力。

实现本发明目的的技术解决方案为：一种基于跨域协同学习的图像去雨方法，包括以下步骤：