[发明专利]一种基于小波变换的视频雨滴检测与去除方法

说明书

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于小波变换的视频雨滴检测与去除方法。

背景技术

本发明主要用于计算机视觉中的图像恢复，户外视觉系统广泛应用于军事国防、医疗技术、智能交通、工业控制等领域，与我们的生活联系也越来越密切。但是恶劣天气严重影响了户外视觉系统的性能，所以对视频图像进行预处理，消除各种天气因素的影响，对于一个全天候的户外视觉系统来说是必不可少的。雨滴由于其复杂的光学、物理等特性对于雨天所摄取的视频质量造成很大的影响，去雨技术不仅可以恢复被雨滴影响的视频图像，而且有利于图像的进一步处理，包括基于图像的目标检测、识别、追踪、分割和监控等技术的性能提高。视频图像去雨技术已经成为计算机视觉领域不可缺少的关键性技术。

近些年来有关视频图像中雨滴检测与去除的研究越来越广泛。Starik等2003年最早提出中值法进行去雨，作者认为在视频图像序列中，雨滴对像素的影响只存在于少数几帧中，故可直接对视频帧进行平均就可以得到不受雨滴影响的原图像。这种方法简单快捷，但是只在雨势不大的情况下才能获得较为理想的效果。Garg和Nayar最先建立雨滴模型(K.Garg and S.K.Nayar,“Detection and removal of rain from videos,”in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.,Jun.2004,vol.1,pp.528–535)，而后提出了检测和去除的方法(K.Garg and S.K.Nayar,“Photorealistic rendering of rain streaks,”ACM Trans.Graph.,vol.25,no.3,pp.996–1002,Jul.2006；K.Garg and S.K.Nayar,“Vision and rain,”Int.J.Comput.Vis.,vol.75,no.1,pp.3–27,Oct.2007)，文中研究了雨的动力学和光学特性，提出一种帧差法进行雨滴检测，利用前后帧图像信息进行雨滴去除的方法。通过拟合同一雨滴中的像素在受雨滴影响前后的亮度差值与背景亮度的线性比值辨别是否雨滴，但雨滴通常面积较小，拟合易受噪声干扰，同时该方法还需已知摄像曝光时间。2006年Zhang等人(Zhang XP,Li H,Qi Y Y,Leow W K,Ng T K.Rain removal in video by combining temporal and chromatic properties.In:Proceedings of the2006International Conference on Multimedia and Expo.Toronto,Canada:IEEE,2006.461-464)提出K-means聚类的方法检测雨滴，并加入了雨滴的色彩特性来减少检测的误差，实验效果较好，但是在整个视频利用聚类的方法辨别雨滴和背景，计算效率不高，不能进行实时的处理。2007年Barnum等人(Barnum P C,Narasimhan S G,Kanade T.Analysis of rain and snow in frequency space.International Journal of Computer Vision,2010,86(2：3):256-274)基于全局模型获取雨雪典型的频域特征，对降雨视频序列做三维傅里叶变换，在频域消除雨滴，再反变换至视频图像，但是这种方法要求雨雪有较高的下降速度，适用范围受限。2008年BrewerN等假设已知曝光时间、焦距等参数的前提下，提出利用雨的物理特征，如雨线长宽比、雨滴面积等来实现雨滴的检测(Brewer N,Liu N J.Using the shape characteristics of rain to identify and remove rain from video.In:Proceedings of the2008Joint IAPR International Workshop on Structural,Syntactic,and Statistical Pattern Recognition.Berlin,Hei-delberg:Springer-Verlag,2008,5342:451-458)，但是由于噪声的影响，会对雨线长宽比等参数造成干扰，从而导致无法准确的进行雨滴检测。