[发明专利]一种基于跨域协同学习的图像去雨方法

权利要求书

1.一种基于跨域协同学习的图像去雨方法，其特征在于，包括以下步骤：

步骤1、采集N张真实环境下含雨图像，进行归一化处理，将像素大小统一为h×w，作为真实域训练样本集R，100＜N＜10000，选择Rain200L合成图像去雨数据中的N张图像，进行归一化处理，将像素大小统一为h×w，作为第一合成域训练样本集S₁，选择Rain1200合成图像去雨数据中的N张图像，进行归一化处理，将像素大小统一为h×w，作为第二合成域训练样本集S₂，转入步骤2；

步骤2、基于多尺度注意力残差模块构建双分支图像去雨网络模型，转入步骤3；

步骤3、利用面向合成领域的跨域协同学习策略，基于第一合成域训练样本集S₁和第二合成域训练样本集S₂训练双分支图像去雨网络模型，得到初始双分支图像去雨网络模型，转入步骤4：

针对双分支图像去雨网络模型中第一个分支网络的协同学习策略如下：

将第一合成域训练样本集S₁中图像输入双分支图像去雨网络模型中，第一个分支网络的输出结果为第二个分支网络的输出结果为将第二合成域训练样本集S₂中图像输入双分支图像去雨网络模型中，第一个分支网络的输出结果为第二个分支网络的输出结果为通过构建损失函数L₁实现第一个分支网络的协同学习，损失函数L₁如下：

其中，是第一个分支网络的重建损失函数，是第一个分支网络的协同损失函数，是一个超参数，用来权衡重建损失函数和协同损失函数的比重；为第一合成域训练样本集S₁对应标签图像，即为合成含雨图像对应的清晰图像；

重建损失函数如下：

其中，|...|₁表示为机器学习中L1损失函数；

协同损失函数如下：

其中，|...|₁表示为机器学习中L1损失函数；

针对双分支图像去雨网络模型中第二个分支网络的协同学习策略如下：

将第一合成域训练样本集S₁中图像输入双分支图像去雨网络模型中，第一个分支网络的输出结果为第二个分支网络的输出结果为将第二合成域训练样本集S₂中图像输入双分支图像去雨网络模型中，第一个分支网络的输出结果为第二个分支网络的输出结果为通过构建损失函数L₂实现第二个分支网络的协同学习，损失函数L₂如下：

其中，是第二个分支网络的重建损失函数，是第二个分支网络的协同损失函数，是一个超参数，用来权衡重建损失函数和协同损失函数的比重；为第二合成域训练样本集S₂对应标签图像，即为合成含雨图像对应的清晰图像；

重建损失函数如下：

其中，|...|₁表示为机器学习中L1损失函数；

协同损失函数如下：

其中，|...|₁表示为机器学习中L1损失函数；

步骤4、利用面向真实领域的跨域学习策略，基于真实域训练样本集R训练初始双分支图像去雨网络模型；当达到预定的训练次数E时，获得训练好的双分支图像去雨网络模型，转入步骤5；否则返回步骤3；

步骤5、采集M张真实环境下含雨图像，100＜M＜10000，分别通过归一化处理，得到像素大小为h×w的M张真实含雨图像，构成测试样本集；

步骤6、将测试样本集中的真实含雨图像输入到训练好的双分支图像去雨网络模型，去除真实含雨图像中的雨纹信息。

2.根据权利要求1所述的一种基于跨域协同学习的图像去雨方法，其特征在于，步骤2中，多尺度注意力残差模块的构建方法如下：

通过局部最大池化方法获取图像的三个尺度分支，得到低级输入特征，每个分支采用相同的卷积网络对不同尺度的低级输入特征进行特征映射，提取高级语义特征；通过多分支跨尺度域信息融合方法，将不同分支之间的低级输入特征和高级语义特征进行跨尺度连接，提取到三个分支的跨尺度特征之后，通过特征级联的方式对三个跨尺度特征进行融合，得到多尺度融合特征；利用多尺度特征融合模块代替基本残差模块中的卷积层，并加入注意力机制，构建多尺度注意力残差模块。