[发明专利]一种基于金字塔网络的半监督单幅图像去雨方法及装置

说明书

本申请实施例公开了一种基于金字塔网络的半监督单幅图像去雨方法及装置；所述方法包括：输入合成雨量图和真实雨量图到半监督学习框架，对所述合成雨量图进行分析，提取多尺度的雨量残差，获得标记的隐空间向量；使用监督阶段的金字塔结构来转移真实雨量图，计算真实的雨量残差和未标记的隐空间向量；根据真实的雨量残差和未标记的隐空间向量，计算出结合标记的隐空间向量和未标记的隐空间向量的损失函数；通过多尺度的高斯拉普拉斯金字塔图像分解技术，利用全局损失的最优解，获得清晰去雨量图；本申请实施例多尺度雨量图可以在设计好的子网内同时进行特征的提取和融合，获得了不同尺度下的隐空间特征向量，使生成的伪真实图更加接近真实雨量图，更好地提升了网络的泛化性能。

技术领域

本申请实施例涉及图像去雨技术领域，尤其涉及一种基于金字塔网络的半监督单幅图像去雨方法及装置。

背景技术

随着在计算机视觉领域技术的不断进步，人们对目标检测、跟踪和识别系统的需求不断提升。在对目标进行检测、跟踪和识别的过程中，清晰的图像通常可以获得更好的效果、实现更高准确率。但是，在实际应用中，本发明往往会遇到天气环境因素的影响，从而导致图像或者图像序列的视觉效果、数据质量和应用价值下降。例如：雨水会导致捕获的图像和视频的视觉质量下降。因为大多数算法及应用都假定天气晴朗，不会受到降雨条纹和降雨积聚的干扰。因此，许多实际应用非常需要从雨线或雨幕中恢复图像，这种技术称为去雨或除雨。

但是，现有的图像去雨技术存在现实世界难以获得全标签数据集，网络结构复杂、网络的参数量大、训练速度慢，可靠性低的问题。

发明内容

本申请实施例提供一种基于金字塔网络的半监督单幅图像去雨方法及装置，以解决现有的用户质差投诉分析不能自动化、准确性低，无法批量处理、效率低的问题。

在第一方面，本申请实施例提供了一种基于金字塔网络的半监督单幅图像去雨方法，所述方法包括以下步骤：

输入合成雨量图和真实雨量图到半监督学习框架，对所述合成雨量图进行分析，提取多尺度的雨量残差，获得标记的隐空间向量；

使用监督阶段的金字塔结构来转移真实雨量图，计算真实的雨量残差和未标记的隐空间向量；

根据真实的雨量残差和未标记的隐空间向量，计算出结合标记的隐空间向量和未标记的隐空间向量的损失函数；

通过多尺度的高斯拉普拉斯金字塔图像分解技术，利用全局损失的最优解，获得清晰去雨量图。

进一步的，计算标记的隐空间向量的损失函数，包括：

使用有标签数据学习网络参数，得到最小化有监督损失函数：

L_sup＝L₁+λ_pL_p；

其中，L_sup表示监督学习阶段的损失函数；L₁表示l₁损失函数；λ_p为感知损失函数的特定常数；L_p为监督阶段的感知损失函数；为监督阶段获得的去雨量图；y_l为有标签数据集中与时应的有标签的合成雨量图；为经过VGG网络提取的特征信息；Φ_VGG(y_l)为y_l经过VGG网络提取的特征信息。

进一步的，计算未标记的隐空间向量的损失函数，包括：

使用五标签数据学习网络参数，得到无监督阶段的损失函数：