[发明专利]一种基于多重卷积下确界振荡广义全变分的图像去雨方法

说明书

本发明公开了一种基于多重卷积下确界振荡广义全变分的图像去雨的新方法，包括以下步骤：(1)输入待去除雨水的雨图像；(2)利用多重卷积下确界振荡广义变分正则项来表征多方向的雨纹，利用广义变分来正则化无雨图像背景，建立单幅雨图像去除雨水的高阶变分模型；(3)将高阶变分模型转化为等价的鞍点问题，并采用原始对偶算法求解该鞍点问题，得到去除雨水后的复原图像。本发明能够针对不同的场景设计不同方向强度的雨线条纹层先验，处理各种真实复杂场景的雨图并得到很好的视觉效果。

技术领域

本发明属于图像处理技术领域，具体涉及一种图像去雨的方法。

背景技术

恶劣的天气条件会降低图像的视觉质量，并且改变图像真实的内容和颜色。在有雨的场景下，雨纹会导致图像处理和计算机视觉在应用上的失败，例如目标检测、跟踪、识别以及监视[1]。因此，去除有雨图像中的雨纹是各个领域的重要任务。

在过去的几十年里，许多研究人员致力于改善雨天图像的视觉质量。

最常用的描述雨图像的模型是：O＝B+R，其中B∈R^d是无雨的背景图，R∈R^d是雨条纹图层，O∈R^d是我们观察到的雨图像。

在此基础上，将去雨看作是一个信号分离问题，即给定图像O，去除雨纹就是根据无雨图层和雨纹的不同特征来估计背景B和雨纹R。为解决这个问题，就需要很多基于对有雨的自然图像的观察所得到的先验知识。

一般将单幅图像的去雨看作为一个雨纹层与背景层(无雨图像)的信号分离问题，该问题是基于这两个图层的纹理表现模式来建模的。我们经常用特定的正则化方法来建立一个变分问题。但由于雨纹的特征非常复杂，在真实的雨景中很难获得它的先验信息。Kang等人[2]使用的是基于MCA和稀疏编码的词典学习来将雨纹从高频信息中分离出来，然而，仅学习图像的高频信息通常会导致图像细节的丢失。Chen等人在文献[3]中不仅考虑了背景层的光滑性，还考虑了雨纹层的纹理模式，但其目标函数的约束条件不够强。Luo等人[4]采用有区别的稀疏编码来保护图像的背景信息。Li等人[5]利用高斯混合模型(GMM)先验来去除不同方向和尺度的雨纹，然而他们的方法容易导致图像的过度光滑。为了解决这一问题，Zhu等人在文献[6]中提出了一种联合双层优化方法，逐步将雨纹从背景细节中分离出来。Deng等人[7]利用了雨纹的方向特性。文献[8]和[9]中构造了一个以图像细节层为输入并预测负残差的深度网络。文献[10]也提出了一种用深度网络来去除暴雨的方法，该网络联合了检测雨纹和去除雨纹任务，来提高雨景的能见度。文献[11]提出了一种新的密度感知多路密集卷积神经网络(MDCNN)，用于雨纹密度估计和雨纹去除。文献[12]单向全变差(UTV)随然先验刻画了雨条纹层的方向特征，但是该模型只利用了一个方向的信息。

引用的参考文献如下：

[1]Wang Y,Liu S,Chen C,et al.A Hierarchical Approach for Rain or SnowRemoving in A Single Color Image[J].IEEE Transactions on Image Processing,2017,(99):1–1.

[2]Kang L W,Lin C W,Fu Y H.Automatic single-image-based rain streaksremoval via image decomposition[J].IEEE transactions on image processing,2011,21(4):1742–1755.

[3]Chen Y L,Hsu C T.A Generalized Low-Rank Appearance Model forSpatiotemporally Correlated Rain Streaks[C],Sydney,NSW,Australia:IEEE,2013:1968–1975.