[发明专利]一种基于融合Transformer的卷积神经网络的图像去雾方法

权利要求书

1.一种基于融合Transformer的卷积神经网络的图像去雾方法，其特征在于，该方法具体包括以下步骤：

S1：获取合成雾天数据集RESIDE作为训练数据集，并对数据集进行预处理；

S2：构建去雾网络模型：基于U-Net的网络结构和残差模块，利用卷积模块和Transformer模块构建一个端到端的去雾网络模型；

S3：将预处理后的数据集输入到构建好的去雾网络模型中，在训练过程中通过损失函数计算损失，不断迭代更新模型参数，最终得到训练好的去雾网络模型，进行图像去雾。

2.根据权利要求1所述的基于融合Transformer的卷积神经网络的图像去雾方法，其特征在于，步骤S1具体包括以下步骤：

S11：获取训练数据集，包括一对有雾图像和清晰图像，记为(I,J)，其中I,J∈R^C×H×W，I表示有雾图像，J表示清晰图像，C表示图像的通道数，H和W分别表示图像的高度和宽度；

S12：对图像进行随机裁剪，得到的图像为(I_crop,J_crop)，I_crop表示裁剪后的有雾图像，J_crop表示裁剪后的清晰图像，I_crop,J_crop∈R^C×h×w，h和w分别表示裁剪后图像的高度和宽度；

S13：对步骤S12得到的图像进行随机翻转，以增强数据集；并将其转化为张量形式，以此作为去雾网络模型的输入。

3.根据权利要求1所述的基于融合Transformer的卷积神经网络的图像去雾方法，其特征在于，步骤S2中，去雾网络模型的架构包括：编码器、解码器和特征融合模块；基于U-Net的网络结构，利用残差结构构建一个端到端的去雾网络，编码器由若干去雾模块组成，每一个去雾模块由Transformer和卷积神经网络组成，卷积神经网络提取低频信息，Transformer提取高频信息；解码器由反卷积模块组成，完成无雾图像的重构。

4.根据权利要求3所述的基于融合Transformer的卷积神经网络的图像去雾方法，其特征在于，步骤S2中，构建去雾网络模型，具体包括以下步骤：

S21：编码器包含3个去雾模块和2个patch-merging模块，每个去雾模块由前半部分的若干卷积子模块和后半部分若干的Transformer子模块组成，每个去雾模块中卷积模块和Transformer模块的比例逐层变小，即在网络的浅层，由卷积模块提取图像的细节信息，而随着网络层数的加深，改为由Transformer模块提取图像的全局信息；

S22：patch-merging模块的作用是首先将输入到patch partition模块中进行分块，即将每4×4相邻的像素作为一个patch，然后在channel方向展平，则特征图的高宽缩减为原先的一半，而通道数变为原先的4倍，之后再通过一个全连接层，将通道数映射为原先的通道数的2倍，实现特征图的下采样操作；

S23：去雾模块由8个去雾子模块构成，每个去雾子模块为卷积神经网络模块或Transformer模块；

S24：解码器由反卷积模块和去雾模块中的卷积模块组成，反卷积模块由一个卷积层和PixelShuffle上采样层构成，作用是使得feature map的宽高翻倍，通道数减半；

S25：特征融合模块采用SKNet和残差连接网络；SKNet通过对不同分支上加入注意力机制，让网络学习不同分支的重要程度，让特征融合模块能够更加有效的融合残差特征。