[发明专利]基于多尺度沙漏密集连接网络的去雨方法、系统和介质

权利要求书

1.一种基于多尺度沙漏密集连接网络的去雨方法，其特征在于，包括：

获取合成的图像去雨样本数据集，得到数据集合，用于网络模型的训练；

构建多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，所述网络模型包括三个卷积核大小为3的卷积层和四个多尺度沙漏注意力残差模块单元；

将所述数据集合进行预处理，得到训练数据集合，基于Pytorch深度学习框架用所述训练数据集合训练多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，得到训练好的多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型；

将需要去雨图像输入训练好的多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，获得去雨图像;

所述构建多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，具体为：

从图像空间到特征空间的转换由一个卷积核大小为3且带有LeakyReLU激活函数的卷积层构成输入层，用于提取浅层次的雨图像特征，其过程表示为：

，

其中，表示输入网络的有雨图像；表示卷积核大小为3×3的卷积操作，用来将图像变换到特征空间，表示图像经过卷积和非线性操作后提取得到的浅层特征图像, 为非线性激活函数；

使用多尺度沙漏结构从提取到的浅层特征中进一步采集不同尺度雨纹特征，多尺度沙漏结构由下采样，上采样，池化层，卷积层和反卷积层构成，其数学表达式为:

，

其中，X表示输入网络的数据信息，是对数据进行上采样过程；是对输入数据进行下采样过程；i,j表示上下采样的层数，和分别表示下采样和上采样的网络参数，表示经过沙漏网络处理后得到的特征信息；

利用多尺度沙漏残差结构提取并传递不同尺度雨纹特征的同时引入并行连接的空间和通道双注意力模块对空间上下文特征依赖性进行重校准同时对通道重要特征信息进行加权，以抑制无用的通道信息；

通道注意力模块提取和处理特征图的通道特征信息，获得通道间的相互关联特征信息和重要性程度，通道注意力特征图表示为：

，

，

其中，AvgPool指的是平均池化操作, MaxPool指的是最大池化操作,MLP表示构成共享网络产生通道注意力图的多层感知器；F是输入网络的特征信息，和分别表示通道注意力模块中经平均池化和最大池化操作后的特征图，和 表示网络权重参数，表示sigmoid非线性激活函数；

空间注意力模块提取关注图像的空间上下文信息分布情况，空间注意力特征图表示为：

，

，

，

其中，是空间特征分布，F(i)是对应点的特征，C表示所对应的通道数；表示一个滤波器大小为7×7的卷积运算；表示进行空间注意力上的平均池化和最大池化操作得到的特征图，大小均为1×H×W；表示sigmoid函数；

将经过通道注意力模块和空间注意力模块得到的特征图像进行拼接融合，其过程可进一步表示为：

，

其中，Concat是拼接操作, 和分别表示经通道注意力模块和空间注意力模块处理后得到的特征信息，表示经整个多尺度沙漏残差注意模块单元网络处理后得到的输出特征信息；

多尺度沙漏结构和双注意力模块加上残差跳转连接而构成多尺度沙漏注意力残差模块单元，残差网络将浅层提取到的特征跳跃跨层传递到更深的网络层，MHAR模块表示为：

，

其中，是网络对应卷积层的输入，是MHAR模块各层的参数，表示第i个MHAR模块的映射过程；

在多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型中加入密集连接机制，其具体实现表示为：

利用一个带有LeakyReLU激活函数的卷积核大小为1×1和3×3的卷积层将聚合的深度特征进行融合，表示为：

，

其中为非线性激活函数LeakyReLU，R为提取分离得到的雨纹层;

基于Pytorch深度学习框架用所述训练数据集合训练多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，具体为：

将训练数据集合批量化输入构建的多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型中进行训练，最终可得到预训练好的多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型；

，

其中，为输入网络的有雨图像，R为网络提取分离的雨纹层图像，B为去雨网络处理生成的无雨图像。