[发明专利]基于深度学习的单幅图像去雪花方法、装置及存储介质

权利要求书

1.一种基于深度学习的单幅图像去雪花方法，其特征在于，所述方法包括：

通过注意力机制，将成对的具有相同背景的含雪和无雪图像作为输入，根据网络的自动学习能力，提取雪花像素的特征生成雪花注意力图；

将含雪图像与相应的雪花注意力图同时作为无雪图像生成部分的输入，利用U-net网络以及残差网络恢复出无雪图像；

将恢复出的无雪图像与真实的无雪图像同时作为判别器部分的输入，用以训练判别器判断真假图像的能力；

采用训练后的判别器对输入的图像进行特征提取，通过提取到的特征做出判断，从而使得生成器生成的图像越来越接近真实的无雪图像；

其中，所述注意力机制通过对比学习成对的含雪与无雪图像，来识别图像中的雪花，从而提取雪花像素的特征；

使用雪花注意力图与相应的雪花二值掩模之间的均方误差作为损失函数，表示为：

其中，A_t表示注意力估计模块在第t次训练时产生的注意力图，l_MSE表示均方误差函数，α表示可调参数，A表示训练中生成的注意力图，N表示使用的注意力生成模块的个数，l_AML表示损失函数，{A}表示一次训练中生成的注意力图的集合；M表示雪花像素的掩模；

A_t的表达式为：A_t＝AML_t(F_t-1,H_t-1,C_t-1)，F_t-1是输入图像和前一次训练产生的注意力图的拼接；H_t-1表示上一模块中LSTM的最终输出，C_t-1表示上一模块中LSTM输出的状态门的值；AML_t表示第t次训练时的注意力估计模块；

其中，所述无雪图像生成部分包括：编码部分和解码部分，

编码部分包含4个下采样层，每个下采样层包含一个卷积层和激活层；在每一个下采样层中，将图像的分辨率降为原来的1/2，同时提取的特征数变为原来的两倍；将第一个下采样层输入的特征数设置为32，图像的分辨率为256*256；通过4层下采样操作后，得到的特征数为512，图像的分辨率为16*16；在U-net的第五层，使用残差网络来提高网络的感受野；

解码部分使用了跳跃连接，将下采样层的输出与具有相同分辨率的上采样层输出合并，输入到下一上采样层中；上采样层结构与下采样层结构相同，每一个上采样层使得图像的分辨率变为原来的两倍，特征数降为原来的1/2；经过4层上采样操作，得到解码后的无雪图像特征，特征数为32，图像分辨率为256*256；通过Tanh层，使用无雪图像特征恢复出彩色的无雪图像。

2.根据权利要求1所述的一种基于深度学习的单幅图像去雪花方法，其特征在于，所述方法通过感知损失计算无雪图像生成部分输出图像的特征与对应的干净背景图像之间的全局差异。

3.一种基于深度学习的单幅图像去雪花装置，其特征在于，所述装置用于执行权利要求1中的所述方法步骤，所述装置包括：

提取模块，用于通过注意力机制，将成对的具有相同背景的含雪和无雪图像作为输入，根据网络的自动学习能力，提取雪花像素的特征生成雪花注意力图；

无雪图像生成模块，用于将含雪图像与相应的雪花注意力图同时作为无雪图像生成部分的输入，利用U-net网络以及残差网络恢复出无雪图像；

训练模块，用于将恢复出的无雪图像与真实的无雪图像同时作为判别器部分的输入，用以训练判别器判断真假图像的能力；

生成模块，用于采用训练后的判别器对输入的图像进行特征提取，通过提取到的特征做出判断，从而使得生成器生成的图像越来越接近真实的无雪图像。

4.根据权利要求3所述的一种基于深度学习的单幅图像去雪花装置，其特征在于，所述提取模块包括：注意力机制单元，

所述注意力机制单元，用于通过对比学习成对的含雪与无雪图像，来识别图像中的雪花，从而提取雪花像素的特征。

5.根据权利要求3所述的一种基于深度学习的单幅图像去雪花装置，其特征在于，所述装置还包括：

计算模块，用于通过感知损失计算无雪图像生成部分输出图像的特征与对应的干净背景图像之间的全局差异。