[发明专利]一种基于融合Transformer的卷积神经网络的图像去雾方法

说明书

本发明涉及一种基于融合Transformer的卷积神经网络的图像去雾方法，属于计算机视觉和图像处理技术领域。该方法包括：S1：获取合成雾天数据集RESIDE作为训练数据集，并对数据集进行预处理；S2：构建去雾网络模型：基于U‑Net的网络结构和残差模块，利用卷积模块和Transformer模块构建一个端到端的去雾网络模型；S3：将预处理后的数据集输入到构建好的去雾网络模型中，在训练过程中通过损失函数计算损失，不断迭代更新模型参数，最终得到训练好的去雾网络模型进行图像去雾。本发明能够更好的恢复图像的整体信息，可以直接进行端到端的去雾。

技术领域

本发明属于计算机视觉和图像处理技术领域，涉及一种基于融合Transformer的卷积神经网络的图像去雾方法。

背景技术

在信息化高速发展的背景下，图像已经成为人类表达、获取以及传递信息的主要方式。由于一些外界因素，比如恶劣的天气，成像设备的不稳定等都会导致获取的图像质量偏低。获取到的不清晰的图像不仅会影响人眼的主观视觉感受，而且对于各种以图像为基础的智能信息处理系统的性能也会产生极其严重的影响。为了改善图像的质量，提高图像的清晰度，对图像的去雾处理就非常必要。

目前，图像去雾算法主要分为三大类：基于图像增强的去雾方法、基于先验知识的去雾方法和基于深度学习的去雾方法。第一类，基于图像增强的去雾方法从有雾图像本身出发，忽略雾图的形成机制，通过提高有雾图像的对比度和色彩饱和度来使图片视觉效果变得清晰。第二类，基于先验知识的去雾方法，以大气散射模型为依据，通过各种先验知识或理论假设估算大气散射模型的中间参数，然后反解大气散射模型计算出无雾图像。第三类，基于深度学习的去雾方法，这种方法不再依赖于手工提取特征，而是通过构建神经网络模型，让模型从数据中学习如何恢复清晰图像。早期的去雾网络仍然依赖于大气散射模型，如：DehazeNet，通过构建网络模型，学习得到中间参数，再通过反解大气散射模型得到无雾图像。

基于大气散射模型的深度学习方法虽然能够取得比传统方法更好的去雾效果，但也限制了卷积神经网络的学习能力。因此，目前的去雾方法都是直接使用卷积神经网络进行端到端的去雾。基于深度学习的方法近年来发展迅速，但仍然存在一定的局限性，需要进一步改进和提高。

发明内容

有鉴于此，本发明的目的在于提供一种基于融合Transformer的卷积神经网络的图像去雾方法，卷积操作提取图像的低频信息，Transformer整合图像的高频信息，使用更小的参数量，和更快的运算速度，实现端到端的去雾。

为达到上述目的，本发明提供如下技术方案：

一种基于融合Transformer的卷积神经网络的图像去雾方法，具体包括以下步骤：

S1：获取合成雾天数据集RESIDE作为训练数据集，并对数据集进行预处理；

S2：构建去雾网络模型：基于U-Net的网络结构和残差模块，利用卷积模块和Transformer模块构建一个端到端的去雾网络模型；

S3：将预处理后的数据集输入到构建好的去雾网络模型中，在训练过程中通过损失函数计算损失，不断迭代更新模型参数，最终得到训练好的去雾网络模型，进行图像去雾。

进一步，步骤S1具体包括以下步骤：

S11：获取训练数据集，包括一对有雾图像和清晰图像，记为(I,J)，其中I,J∈R^C×H×W，I表示有雾图像，J表示清晰图像，C表示图像的通道数，H和W分别表示图像的高度和宽度；