[发明专利]基于选择性机制注意力机制的雨图去雨方法、系统及设备

说明书

本发明属于数据处理领域，具体涉及了一种基于选择性机制注意力机制的雨图去雨方法、系统及设备，旨在提高去雨质量。本发明方法包括：获取待去雨处理的雨图作为初始输入图像；将初始输入图像，通过基于选择性小波注意力编码器SWAE和选择性小波注意力解码器SWAG的残差网络架构的去雨网络模型，进行去雨处理，得到去雨后的图像；SWAE和SWAG跳层连接；SWAE将包含雨和背景信息的特征转化为小波域，根据估计的选择性小波注意力图，在小波池化下采样前将特征分解为雨和背景空间；SWAG在小波域中融合前一层的输出特征和跳连过来的背景特征，通过小波解池化进行上采样。本发明提高了去雨质量，同时保证了去雨质量的稳定性。

技术领域

本发明属于数据处理领域，具体涉及了一种基于选择性机制注意力机制的雨图去雨方法、系统及设备。

背景技术

单张图像去雨是图像到图像转换任务的一种，具有一定的商业价值，在自动驾驶、目标检测等工业落地场景都有应用。

单张雨图像包含不同形状、大小、方向、疏密度的雨纹和雨滴以及背景场景。单张图像去雨需要尽可能地去除雨水纹理并恢复干净的背景图。目前的方法采用深度学习技术，利用一些先验信息从单一图像中去除雨纹。例如降雨密度，场景深度，置信图等。除此之外，许多方法利用先进的深度网络结构，如ResNet，DenseNet，金字塔网络等。为了提升去雨效率并获得更好的去雨结果，最近产生了许多基于注意力机制的工作，它们使得模型更关注于雨图中有雨纹的区域。但是，由于雨条纹的表观和积累的多样性，在嵌入空间中很难对雨纹和背景信息进行分离，导致不仅在图像像素域会出现效果不自然的情况，在语义嵌入空间也可能存在内在地重叠。这些具有挑战性的技术难点使得去雨效果还有很大的提升空间。

发明内容

为了解决现有技术中的上述问题，即为了提高去雨质量，本发明的第一方面，提供了一种基于选择性机制注意力机制的雨图去雨方法，包括以下步骤：

步骤S100，获取待去雨处理的雨图作为初始输入图像；

步骤S200，将所述初始输入图像，通过基于选择性小波注意力编码器和选择性小波注意力解码器的残差网络架构的去雨网络模型，进行去雨处理，得到去雨后的图像；

其中，

所述选择性小波注意力编码器和所述选择性小波注意力解码器跳层连接；

所述选择性小波注意力编码器，配置为将包含雨和背景信息的特征转化为小波域，根据估计的选择性小波注意力图，在小波池化下采样前将特征分解为雨和背景空间；

所述选择性小波注意力解码器，配置为在小波域中融合前一层的输出特征和跳连过来的背景特征，通过小波解池化进行上采样。

在一些优选实施方式中，所述去雨网络模型的参数通过生成判别网络模型进行训练获取；

所述生成判别网络模型的生成网络为所述去雨网络模型、判别网络为小波注意力鉴别器；

所述小波注意力鉴别器配置为区分雨图像及该图像通过生成网络获取的无雨图像。

在一些优选实施方式中，所述小波注意力鉴别器基于选择性小波注意力编码器和残差块进行构架，每个选择性小波注意力编码器配置一个侧卷积层，各侧卷积层的输出进行通道串联。

在一些优选实施方式中，所述选择性小波注意力编码器，其对输入特征的处理方法包括：

将输入特征分解为一组小波系数，并对各小波系数进行独立残差处理；

利用输入特征和处理后的小波系数获取小波注意力图；

利用所述小波注意力图来分离输入特征中的雨特征和背景特征；

将输入特征中的雨特征进行下采样。