[发明专利]基于深度学习的单幅图像去雪花方法、装置及存储介质

说明书

本发明公开了一种基于深度学习的单幅图像去雪花方法、装置及存储介质，所述方法包括：通过注意力机制，将成对的具有相同背景的含雪和无雪图像作为输入，根据网络的自动学习能力，提取雪花像素的特征生成雪花注意力图；将含雪图像与相应的雪花注意力图同时作为无雪图像生成部分的输入，利用U‑net网络以及残差网络恢复出无雪图像；将恢复出的无雪图像与真实的无雪图像同时作为判别器部分的输入，用以训练判别器判断真假图像的能力；采用训练后的判别器对输入的图像进行特征提取，通过提取到的特征做出判断，从而使得生成器生成的图像越来越接近真实的无雪图像。本发明处理后的图像中雪花去除效果很好，而且较原图像能保留更多的细节特征；在修复被雪花覆盖的像素时避免了图像失真与模糊等问题。

技术领域

本发明涉及图像去噪技术，属于图像处理领域，尤其涉及一种基于深度学习的单幅图像去雪花方法、装置及存储介质。

背景技术

雪花作为一种特殊的天气现象，会降低背景场景的能见度，影响图像的清晰度，使得图像中有用的信息减少。对后续的图像处理任务产生巨大的负面效果，例如：目标检测、场景分析，以及其他的图像处理任务。尤其是在人工智能的应用方向上，大多数情况下需要清晰干净的图像来提取和处理正确的信息。因此，从单一图像中去除雪花具有重要的研究意义。

尽管目前大多数高光去除算法取得了一些成就，但还存在以下问题：

第一、大多数方法使用的是传统的建模方法，仅使用了雪花的一个或几个空间特征，使得基于建模的方法在实际的应用中泛用性不强；

第二、目前注意力机制在单幅图像去雪花方向没有得到广泛的应用，而且一般的U-net(U型结构网络)在修复雪花像素时存在图像失真等问题。

发明内容

针对单幅图像中雪花检测与修复任务，本发明提供了一种基于深度学习的单幅图像去雪花方法、装置及存储介质，处理后的图像中雪花去除效果很好，而且较原图像能保留更多的细节特征；在修复被雪花覆盖的像素时避免了图像失真与模糊等问题，详见下文描述：

第一方面，一种基于深度学习的单幅图像去雪花方法方法，所述方法包括：

通过注意力机制，将成对的具有相同背景的含雪和无雪图像作为输入，根据网络的自动学习能力，提取雪花像素的特征生成雪花注意力图；

将含雪图像与相应的雪花注意力图同时作为无雪图像生成部分的输入，利用U-net网络以及残差网络恢复出无雪图像；

将恢复出的无雪图像与真实的无雪图像同时作为判别器部分的输入，用以训练判别器判断真假图像的能力；

采用训练后的判别器对输入的图像进行特征提取，通过提取到的特征做出判断，从而使得生成器生成的图像越来越接近真实的无雪图像。

在一种实现方式中，所述注意力机制通过对比学习成对的含雪与无雪图像，来识别图像中的雪花，从而提取雪花像素的特征。

在一种实现方式中，所述无雪图像生成部分包括：编码部分和解码部分，

编码部分包含4个下采样层，每个下采样层包含一个卷积层和激活层；在每一个下采样层中，将图像的分辨率降为原来的1/2，同时提取的特征数变为原来的两倍；将第一个下采样层输入的特征数设置为32，图像的分辨率为256*256；通过4层下采样操作后，得到的特征数为512，图像的分辨率为16*16；在U-net的第五层，使用残差网络来提高网络的感受野；

解码部分使用了跳跃连接，将下采样层的输出与具有相同分辨率的上采样层输出合并，输入到下一上采样层中；上采样层结构与下采样层结构相同，每一个上采样层使得图像的分辨率变为原来的两倍，特征数降为原来的1/2；经过4层上采样操作，得到解码后的无雪图像特征，特征数为32，图像分辨率为256*256；通过Tanh层，使用无雪图像特征恢复出彩色的无雪图像。