[发明专利]一种基于多尺度混合指数模型的视频去雨方法

说明书

本发明提出了一种基于多尺度混合指数模型的视频去雨方法，包括获取原始雨视频信息，根据雨视频的结构特性，构造成多尺度雨视频模型；原始雨视频成分分解，包括将不同尺度雨视频分别分解，得到雨信息，背景以及前景；对不同尺度信息，构造雨视频背景模型、前景运动物体检测模型和基于混合指数模型的初始雨统计模型，从而建立单一尺度下的雨视频的统计模型；对单一尺度下的雨视频统计模型用最大期望迭代优化算法优化，获得去雨后视频；对各个尺度的去雨视频采用金字塔分解重构，并加和平均获得最终的去雨视频。本发明可以有效地建立视频雨条纹噪声模型，提高视频图像去雨的清晰度，并进一步提高后期的视频处理结果的准确度。

技术领域

本发明涉及户外视频去雨处理技术领域，具体涉及一种基于多尺度混合指数模型的视频去雨方法。

背景技术

在指恶劣天气情况下，视频质量会受到雨条纹的影响，无法利用室外视频来做相应的视频，比方说目标检索，目标跟踪，人物识别等等。基于此，去除视频信息中的雨条纹信息十分必要。最近几年视频去雨技术成为计算机视觉领域一项新兴技术。如何保留视频图像细节信息，最大限度提高受影响的视频图像的清晰度是视频去雨技术需要面对的问题。

针对视频中的雨信息，早期方法分析了自然雨条纹的特征。随后产生了各种基于雨特性的视频去雨方法，以下详述。

Garg和Nayar等[文献1]分析了自然雨条纹的特征，综合分析了雨条纹的视觉效果。在[文献2]中，Garg和Nayar等进一步提出在图像的拍摄过程中，由于曝光时间的影响，雨滴在图像上会形成雨痕的视觉效果。在这种情况下，受雨水影响的像素主要取决于像素点本身的像素值、雨滴的大小和速度以及曝光时间。该论文提出通过设置相机的参数，如景深、曝光时间等来减少雨条纹对图片的影响。

针对雨的特性，新加坡国立大学Xiaopeng Zhang等[文献3]提出了一种新的去雨方法，该方法在视频中结合了雨的时间和色度属性。时间属性指出，在整个视频中，图像像素并不总是被雨覆盖。色度特性表明受雨影响的像素的R，G和B值的变化大致相同。通过结合这两个属性，方法可以检测并消除固定摄像机拍摄的静态和动态场景中的雨痕。

针对传统方法中没有考虑到视频图像中的运动物体这一问题，2015年Kim等在[文献4]提出了一种使用时间相关和低秩矩阵完成的新颖的视频排序方法。该方法根据当前帧与相邻帧之间的差异生成初始雨图。使用稀疏基向量表示初始雨图，采用支持向量机(SVM)将其分为雨连线和异常点。通过去除异常值，改进雨图并检测雨条纹。该方法采用EM算法迭代计算。实验结果表明，该方法能够有效去除雨痕，有利于重建场景内容。

针对传统视频去雨的方法通常是将雨条纹信息作为一种确定性的信息，2017年，西安交通大学的weiwei[文献5]提出将视频信息分为三个成分：背景信息，运动的物体，雨信息，并采用混合高斯模型来表示雨条纹信息。该论文将雨条信息作为一种基于块的高斯混合模型的随机信息，这种改变可以让该方法可以适应更广泛的雨条情况。

综上所述，现有方法主要考虑到雨条纹的物理特性以及随机分布，忽略了雨条纹稀疏特性，从而降低了视频去雨方法中雨条纹的精确性，并进一步弱化了视频去雨的精确性。

下面就视频去雨相关专利展开分析。

迄今为止，在所有视频去雨方向共计受理专利9项(其中授权6项)。在9项已有关于视频雨视频中，主要有涉及基于光照、K分类算法、雨势大小判断、多尺度卷积稀疏编码，以及混合高斯模型的相关专利。结合雨条纹的稀疏性，本专利采用混合指数模型来模拟雨条纹，并进一步达到视频去雨的方法。

相关文献：

[文献1]Kshitiz Garg and Shree K Nayar,Detection and removal of rainfrom videos[C],in CVPR,2004