[发明专利]一种针对附着水雾水珠去除的图像处理方法和系统

权利要求书

1.一种图像处理方法，其特征在于，所述方法包括：

输入图像至分类卷积神经网络；

所述分类卷积神经网络针对所述图像进行分类，判断所述图像为清晰的、或被附着水珠和/或附着水雾影响的图像，并根据目标分类结果生成空域注意力掩膜，将所述空域注意力掩膜与原输入图像叠加，输入至特征编码模块；

所述特征编码模块过滤所述叠加图像中的无用特征，将过滤后的特征图输入至平滑空洞卷积模块；

所述平滑空洞卷积模块针对所述过滤后的特征图提取特征，并增强目标保留特征，将处理后的特征图输入至解码模块；

所述解码模块针对所述处理后的特征图进行恢复图像的操作；

输出恢复后的图像；

所述根据目标分类结果按照如下公式生成空域注意力掩膜：

其中，t指对应的分类结果，M是分类激活图计算结果，即为空域注意力掩膜，f指最后一层卷积层的特征图，k指该特征图的第k个通道，ω_k是该通道对应的后续全连接层权重，(x,y)指空域位置坐标；

所述特征编码模块包括三个卷积层以及三个双注意力机制子模块，每个卷积层后分别跟随一个双注意力机制；其中，前两个卷积层的卷积步长为1，最后一个卷积层卷积步长为2，使得网络中传递的特征图长宽分别缩小为原尺寸的一半；

所述平滑空洞卷积模块针对所述过滤后的特征图提取特征，并增强目标保留特征，包括：

所述平滑空洞卷积将过滤后的特征图输入一个空洞卷积层，再被一个普通卷积层平滑；接着又是一个空洞卷积层和一个普通卷积层；最后将处理后的特征图与输入的过滤后的特征图叠加形成残差学习机制；所述平滑空洞卷积模块包括六个平滑空洞卷积，其中前三个的空洞率为2，后三个的空洞率为4；每个平滑空洞卷积操作后面都附带一个双注意力机制子模块；

所述双注意力机制子模块为通道注意力机制和空域注意力机制结合的模块；在通道注意力机制中，输入的特征图分别经过全局最大值池化和全局平均池化转化为两个一维特征，两个一维特征经过共享的两个全连接层处理后，赋予原输入特征图不同通道以不同的权重；在空域注意力机制中，输入特征图分别经过沿通道轴的最大值池化和平均池化得到两个单通道二维特征，两个单通道二维特征叠加后，由一个7×7大卷积核卷积层处理，生成原输入特征图的空域权值分布；

所述解码模块包括一个放大至两倍的转置卷积层和两个普通卷积层；转置卷积层和第一个普通卷积层后还各自有一个双注意力机制子模块；

而为了更好地按本申请实施例训练出深度学习模型，在损失函数中加入了感知损失以改善生成的图像细节质量，所述感知损失由经典的VGG19网络预训练模型计算得到，其计算方式由公式(2)所示：

其中x,y,z分别表示特征图的三个维度，f(I^gt)表示清晰真值图像送入预训练的VGG19模型后经过7层卷积层得到的特征图，f(I^out)同理对应本方法恢复得到的图像产生的VGG19特征图;

进一步，感知损失与经典均方误差损失(MSE)按一定比例相加可得到训练本方法模型的总损失函数，其计算方式由公式(3)所示：

Loss_total＝1.0×Loss_mse+0.05×Loss_per......公式(3)

2.如权利要求1所述的方法，其特征在于，所述分类卷积神经网络针对所述图像进行分类，包括：

所述分类卷积神经网络由七层特征图尺寸不断缩小的卷积层提取图像特征，再由一个全局池化层将二维特征转化为一维特征，再用含有三个神经元的全连接层来产生分类输出。