[发明专利]基于多尺度自注意生成对抗网络的单幅图像去雾方法

说明书

本发明公开的基于多尺度自注意生成对抗网络的单幅图像去雾方法，通过将图像归化成的训练集对将图像进行两次下采样构建的生成对抗网络模型进行训练，得到训练后的生成对抗网络模型，训练过程中对去雾结果用损失函数进行优化，最后将有雾图像输入到生成对抗网络模型中，得到去雾图像。本发明提供的单幅图像去雾方法，解决了现有技术中去雾图像质量差的问题。

技术领域

本发明属于图像处理技术领域，涉及一种基于多尺度自注意生成对抗网络的单幅图像去雾方法。

背景技术

单幅图像去雾的目的是从有雾图像中恢复干净的图像，这对于后续的高级别任务(如对象识别和场景理解)是必不可少的。因此，图像去雾在计算机视觉领域得到了广泛的关注。根据物理模型，图像去雾过程可以用公式表示为

I(x)＝J(x)t(x)+A(1-t(x))  (1)；

其中I(x)和J(x)分别表示有雾图像和清晰图像。A表示全局大气光，t(x)表示传输映射。传输映射可以表示为t(x)＝e^-βd(x)，d(x)和β分别表示景深和大气散射系数。定义一张有雾图像I(x)，大多数算法通过估计t(x)和A来恢复清晰图像J(x)。

然而，从有雾图像中估计传输映射和全局大气光通常是一个不适定的问题。早期基于先验的方法试图利用清晰图像的统计特性来估计传输映射，如暗通道先验和颜色线先验，这些图像先验很容易产生和真实图像不一致的情况，导致传输估计不准确，因此，恢复的图像质量通常不准确。

随着深度学习的兴起，透射图或大气光的估计由卷积神经网络来估计，而不是依赖先验。为了解决这一问题，研究人员采用卷积神经网络(CNN)直接估计传输映射、全局大气光或预测清晰图像，这种方法具有显著的性能改进。但是，无论是估计传输映射和全局大气光还是基于深度学习，都几乎取决于物理散射模型，大气光和透射图的估计精度对去雾图像的质量有很大的影响，从而影响了最终清晰图像的获取。

发明内容

本发明的目的是提供一种基于多尺度自注意生成对抗网络的单幅图像去雾方法，解决了现有技术中存在的去雾图像质量差的问题。

本发明所采用的技术方案是，基于多尺度自注意生成对抗网络的单幅图像去雾方法，包括以下步骤：

步骤1、获取图像数据集，对图像数据集中的每个有雾图像的像素值归一化为[-1,1]，得到训练集；

步骤2、将输入的有雾图像进行两次下采样得到两个尺度的缩放图像，构建生成对抗网络模型，生成对抗网络模型由生成网络和判别网络组成；

步骤3、利用步骤1得到的训练集对步骤2构建的生成对抗网络模型进行训练，得到训练后的生成对抗网络模型，训练过程中对去雾结果采用损失函数进行优化；

步骤4、将有雾图像输入到步骤3训练后的生成对抗网络模型中，得到去雾图像。

本发明的特点还在于，

步骤2构建生成对抗网络模型的步骤为：将输入原始大小有雾图像的路径作为生成器的主干网络，下采样后两个尺度缩放图像的路径作为分支输入到主干网络中，每一个分支都采用自注意力机制；

对于生成器生成的去雾图像，和输入图像尺寸大小相同的输出作为最终的去雾结果，将得到的分支去雾结果作为监督学习的一部分，来约束生成器模型。

构建生成对抗网络模型步骤中：

自注意力机制首先对输入的特征映射X进行线性映射，然后得到特征θ,g；

通过调整特征映射的维度，合并上述的三个特征除通道数外的维度，然后对θ和进行矩阵点乘操作并经过softmax函数处理得到注意力特征映射；将得到的注意力特征映射与特征g进行点乘，然后将点乘后的结果经过线性变换后与输入的特征进行相加得到自注意力特征Z；