[发明专利]一种端到端的低能见度图像语义分割方法

权利要求书

1.一种图像语义分割方法，包括如下步骤：

A.制作数据集，分成训练集和测试集；

B.图像清晰化，包括三个步骤：

B1.将低能见度图像进行特征编码：图像特征编码部分由7个编码层组成，7个编码层中均包含实例归一化层和ReLU非线性激活层，七个编码层包括两个卷积模块，一个卷积模块+注意力机制模块，四个平滑空洞卷积残差模块+注意力机制模块；

B2.进行多尺度特征融合，该部分包括三个步骤：

B2.1对特征编码输出的特征图进行下采样操作，将特征图缩小到原来的二分之一；

B2.2将B2.1中结果和特征编码输出的特征图共同输入多尺度融合模块中进行特征融合，具体实现如下：

B2.2.1两个输入分支分别经过各自的平滑空洞卷积残差模块提取复杂特征，

B2.2.2进行特征融合操作，每个支路的特征信息都融合了另一条支路的特征信息；

B2.2.3将B2.2.2中结果里最小的特征图进行B2.2.1操作，将结果和前一多尺度融合模块的输出共同输入到下一多尺度融合模块中；

B2.2.4对经过3个多尺度融合模块的输出特征图进行上采样操作，将这些支路输出的最终特征图大小统一到与主干网络的特征图大小一致；

B2.2.5把所有特征提取支路的特征图信息融合；

B3.对特征图进行特征解码：将特征图输入到反卷积模块中，恢复特征图分辨率，获得清晰化处理后的图像；

C.对清晰化后的图像进行图像语义分割处理：

C1.对清晰化后图像进行特征编码，采用的基线模型是Light-Weight RefineNet网络，将边缘信息设计为一个单独的处理分支，即边缘分支，该分支与传统特征提取分支并行处理信息，常规特征提取分支的主干网络是标准分割网络，选取前馈全卷积特征提取网络，使用ResNet相似的体系结构，具有参数θ，输出像素特征，表示为其中m是常规特征提取分支的步长，具体实现如下：

C1.1输入高度H和宽度W的图像I∈R^3×H×W到常规特征提取分支R_θ(I)的第一个卷积层进行特征提取，得到1/4特征图；

C1.2将C1.1中结果输入到常规特征提取分支R_θ(I)的第二个卷积层进行特征提取，得到1/8特征图，将1/4特征图和1/8特征图分别输入到边缘分支的卷积层进行归一化处理；

C1.3将归一化处理后的1/4特征图输入到残差模块中，将结果和1/8特征图共同输入到门控卷积模块；

C1.4将1/8特征图输入到常规特征提取分支R_θ(I)的第三个卷积层进行特征提取得到1/16特征图后，输入到卷积层进行归一化处理，将结果与C1.3中结果通过残差模块的输出一起输入到门控卷积模块；

C1.5将1/16特征图输入到常规特征提取分支R_θ(I)的第四个卷积层进行特征提取得到1/32特征图后，输入到卷积层进行归一化处理，将结果与C1.4中结果通过残差模块的输出一起输入到门控卷积模块；

C1.6采用Canny算子计算图像的梯度，对图像边缘进行检测，将检测到的边缘信息与C1.5的输出进行融合，并与常规特征提取分支经过四层卷积后的输出一起作为解码器的输入；

C2.对特征图进行解码操作，解码器部分采用基线模型Light-Weight RefineNet中的多路径优化的网络结构，由链式残差池化模块和融合模块构成，具体实现如下：

C2.1将上步骤的结果输入到链式残差池化模块，链式残差池化模块由一系列的池化层与卷积层构成，以残差的形式排列；

C2.2将链式残差池化模块的输出通过融合模块，融合模块对两路数据分别执行3×3卷积并上采样后求和；

C2.3将C2.2中结果重复C2.1中操作，再将结果重复C2.2中操作，将此两个过程进行两次；

C2.4将C2.3中结果输入链式残差池化模块，得到最终的分割结果；

D.利用CE、均方差、GAN和感知损失四种损失函数以线性组合加权相对影响加在一起得到的端到端模型的损失函数对端到端低能见度图像语义分割模型进行训练，损失函数如公式1所示，具体实现如下：

L_generator＝L_GAN+λ₁L_{reconstruction}+λ₂L_perceptual+λ₃L_segmentation       (1)

D.1利用GAN损失函数优化模型，采用的GAN目标函数如式2所示：

D.2使用MSE损失函数作为重建损失，即L2损失函数，它计算预测值与目标值之间差值的平方和，提高训练的网络准确率，计算如式3所示：

D.3利用感知损失函数优化低能见度图像清晰化模型的特征重建部分，在计算低层的特征损失的基础上，将生成图片卷积得到的特征图与真实图片卷积得到的特征图作比较，并计算损失，使用的损失网络是16层的VGG网络模型，经过ImageNet的预训练，使用φ来表示损失网络，相关的损失函数如式4所示：

其中，C_j，H_j，W_j为特征图的通道数和长宽，j表示网络的第j层；

D.4用L_segmentation分量评估低能见度清晰化对语义分割性能的影响，度量两个概率分布间的差异性信息，基于CE的损失函数如式5所示；