[发明专利]一种基于参考图像重建的去雾方法

权利要求书

1.一种基于参考图像重建的去雾方法，其特征在于，所述方法包括：

步骤1)制作合成有雾图像数据集和真实有雾图像数据集；

步骤2)选取训练集与测试集，对训练集与测试集分别进行快速降噪预处理；

步骤3)针对有雾训练集，制作参考图像数据集；

步骤4)构造去雾网络模型，整个去雾网络结构由两部分组成，第一部分实现图像去雾功能，第二部分实现纹理细节增强恢复功能；

步骤5)训练网络模型，利用测试集进行测试；

所述步骤3)针对有雾数据集，制作参考图像数据集，为以下几个步骤：

3.1)分别对有雾数据集中的每张图片，利用百度识图的功能，人工的快速搜索5张对应相似的无雾高分辨率参考图像；

3.2)将参考图像批量调整为大小为256×256的图片；

所述步骤4)构造图像去雾网络模型，整个去雾网络结构由两部分组成，第一部分实现图像去雾功能，第二部分实现纹理细节增强恢复功能，分为以下几个步骤：

4.1)第一部分采用编码器-功能层-解码器的网络结构；其中编码器负责实现特征提取功能；它由4个下采样层组成，每个下采样层包括卷积层，归一化层，激活层；这里采用步长为2的卷积层来代替传统卷积网络中的固定的池化层来进行下采样；中间功能层负责实现雾消除的功能；它由残差块和跳跃连接组成；每个残差块是一个滤波器分别是3×3，5×5的二旁路残差块，不同的旁路使用不同的卷积核；重建网络是与编码器相对应的解码器，它负责恢复去雾图像，由4个上采样层组成；其中上采样层由一个步长为2的反卷积层、一个批归一化层以及一个非线性激活层组成；每个上采样单元输入上采样单元的特征图在经过其中的反卷积层处理后尺寸将变为原来的两倍；

其中，每个残差块是一个滤波器分别是3×3，5×5的二旁路残差块，不同的旁路使用不同的卷积核，操作定义为：

其中W和b分别代表权重和偏差，上标代表它们所在的层数，而下标代表层中使用的卷积内核的大小，代表级联操作，x_n-1和x_n代表了残差块的输入和输出，最后通过逐元素减法移除背景层，实现雾度移除功能；

4.2)第二部分的网络结构是由相同的编码器构成，两个编码器的层之间采用特征匹配块连接，将匹配的特征分别级联到解码器，实现在去雾的基础上获得细节更丰富的图像；

相似特征交换定义为：

其中B_i和B_j表示从神经特征映射中采样的第i个和第j个补丁，表示神经特征空间，D_i，j表示第i个和第j个补丁之间的相似性，T表示交换的特征图，特征交换可以用下式表示：

2.如权利要求1所述的一种基于参考图像重建的去雾方法，其特征是，所述步骤1)采集不同场景不同亮度的地面真实干净的图像与对应的深度图，对采集的成对图像进行预处理，分为以下几个步骤：

1.1)利用深度相机进行数据采集，共采集了5000对数据，采集的场景分为室内场景，室外场景，场景的亮度分为高光亮度，低光亮度；

1.2)对采集的成对图像进行预处理，对深度图与彩色图像进行对齐和固定大小处理；

1.3)给定无雾图像、场景深度图、大气光照度和大气散射系数，根据大气物理模型公式进行有雾图像合成；

1.4)利用Google图片在线收集5000张真实有雾图像作为真实有雾图像数据集。

3.如权利要求1所述的一种基于参考图像重建的去雾方法，其特征是，所述步骤2)选取训练集与测试集，对训练集与测试集分别进行快速降噪预处理，分为以下几个步骤：

2.1)从合成有雾数据集中随机选取3000对作为训练集，为了避免训练的网络模型对于数据集的依赖，从NYU2 Depth数据集中随机选取1000对作为训练集；测试集包括合成有雾数据集的2000张，NYU2 Depth数据集中的950张，在线收集的5000张真实有雾图像；

2.2)对有雾图像利用FFDNet网络进行降噪，将有雾图像输入FFDNet去噪网络，输出去噪后的有雾图像。

4.如权利要求1所述的一种基于参考图像重建的去雾方法，其特征是，所述步骤5)训练网络模型，利用测试集进行测试，分为以下几个步骤：

5.1)利用合成的有雾训练集训练网络，训练的目标函数表示网络估计的去雾图像与真实的无雾图像的平均误差；

5.2)利用测试数据集测试网络的性能，并利用主观或客观的评价指标PSNR，SSIM进行评价。