[发明专利]基于多尺度注意力蒸馏学习网络的图像去雨算法

权利要求书

1.基于多尺度注意力蒸馏学习网络的图像去雨算法,其特征在于：包括如下步骤：建立用于单幅图像去雨的多尺度注意力蒸馏学习网络，整体网络架构主要由多尺度注意力模块和并行注意力蒸馏模块组成，分别用于特征提取和知识蒸馏；

并行注意力蒸馏模块处理过程：将收到其输入设为L₀，并行注意力蒸馏模块将输入的特征图(L₀)分为n个互斥组:[L₁,L₂,...L_η,...L_n]，将L_η定义为一组中间特征图，则其整体架构可以被公式化为：

A_η＝softmax(Conv_1×1(Conv_3×3(DWConv_1×1(L_η)+maxpooling_3×3(L_η)))) (1)

SE(L₀)＝F_scale(L₀,Sigmoid(FC^(c/r,c)(relu(FC^(c,c/r)(globalpooling_3×3(L₀))))))(3)

其中在公式1中，maxpooling_3×3为核大小为3×3的最大池化操作，DWConv_1×1是核大小为1×1的深度可分离卷积，而Conv_3×3和Conv_1×1则分别为卷积核大小3×3和1×1的普通卷积，A_η是由一组中间特征图L_η推断出的注意力特征图，每组子空间中的注意力图A_η通过学习收集跨通道信息，捕捉到特征图之间的非线性依赖关系，同时为了保证A_η为一个有效的注意力加权张量，我们采用了一个具有softmax激活的门控机制，每组特征图经过公式(2)后将得到一个重新定义的特征图集其中为元素相乘，公式(3)为通道注意力分支的表示，globalpooling_3×3是核大小3×3的平均池化，FC^(c,c/r)，FC^(c/r,c)分别是对特征图在通道上压缩激励和恢复的全连接层，压缩系数为r，CADB的最终输出如公式(4)由公式(1)-(3)共同推得，Concat是将各组的特征图重新拼接组合起，

CADB被嵌入到每个MAB中，同时每个MAB的输出都被作为CADB的输入，以解决在多尺度特征获取、传输和融合过程中的信息损失，CADB的核心是利用并行的通道和子空间注意力机制对特征信息进行重新校准，实现特征提炼，它对挖掘尺度-空间特征信息很有帮助；

多尺度注意力模块处理过程：MAB的输入特征图像设为F_in，首先通过卷积层，卷积核大小为1×1、3×3和5×5，输出表示如下：

其中表示卷积大小分别为n×n的多尺度卷积第一层输出；Conv_n×n(·)表示卷积运算；表示卷积核大小分别为n×n的多尺度卷积第一层形成的超参数，输出信息可以通过卷积核大小为1×1、3×3和5×5的多尺度卷积进一步提取图像特征，

其中表示卷积大小分别为n×n的多尺度卷积第二层输出；Conv_n×n()表示卷积运算；表示卷积核大小分别为n×n的多尺度卷积第二层形成的超参数，同样地，可以把多尺度卷积第三层的输出表示如下：

MAB在经过多尺度卷积层之后分别通过卷积核大小为1×1、3×3的卷积实现了层内信息融合，最后引入一个CADB来提升图像有用特征信息的表征能力，MAB的最终的输出表示如下：

其中F_out表示MAB的输出，CADB(·)表示并行注意力蒸馏模块，此外{η₁；η₂；η₃；η₄}表示MAB输出的超参数。