[发明专利]基于雨频率特性的单幅图像去除雨滴影响的方法和系统

说明书

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于雨频率特性的单幅图像去除雨滴影响的方法和系统。

背景技术

户外计算机视觉系统由于拥有包括自动性、智能性、高效性等诸多优点被广泛使用在军事国防、医疗技术、智能交通等领域。但是恶劣天气会严重影响其性能，甚至导致其完全失效。所以消除恶劣天气影响的有效方法，对于一个全天候的户外视觉系统来说必不可少。在诸多恶劣天气情况中，雨由于拥有较大粒子(雨滴)半径及其他复杂物理特性，会对视觉系统所摄取的图像的质量造成较大程度的影响。图像雨滴去除技术通过使用雨的物理、频率等特性，对图像中的雨滴进行识别、去除。其不仅能够显著提升图像质量，还有利于图像的进一步处理。因此，图像雨滴去除技术已经成为计算机视觉领域不可缺少的关键性技术。

近些年来关于图像中雨滴检测与去除的研究已然成为热点。Starik等在2003年最早提出了时域均值的雨滴去除策略，作者认为在视频图像序列中，雨滴对像素的影响只存在于少数几帧中，故可直接对视频帧进行平均就可以得到去除了雨的影响的原图像。遗憾的是，他们并没有对方法进行试验验证。Garg和Nayar最早使用了雨的动态及光度特性(K.Garg and S.K.Nayar,“Detection and removal of rain from videos,”in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.,Jun.2004,vol.1,pp.528–535)，分别建立了两种模型，并基于这两个模型提出了检测和去除雨的方法。对于雨的动态模型，其表明了雨在其下落方向具有时域相关性；对于光度模型，其分为静态雨及动态雨模型。对于静态雨滴，其亮度显著高于其覆盖的背景；对于动态雨滴(雨线)，其亮度由静态雨滴亮度、背景亮度及相机曝光时间决定。之后，作者提出了一种使用帧差法进行雨滴初检，使用两种特性进行误检去除，并最终利用前后帧图像信息进行雨滴去除的方法。虽然此方法性能较好，但其对于严重失焦(远处)的雨、明亮背景上的雨及雨势变化无法处理。2006年Zhang等人(Zhang X P,Li H,Qi Y Y,Leow W K,Ng T K.Rain removal in video by combining temporal and chromatic properties.In:Proceedings of the 2006International Conferenceon Multimedia and Expo.Toronto,Canada:IEEE,2006.461464)使用了雨的时域分布及色彩特性。由于雨的时域分布直方图显示两个峰(分别代表雨滴亮度及背景亮度)，且近似构成高斯混合模型，故非监督学习方法——K-means聚类能够有效地对之进行分离。之后，作者发现被雨滴影响像素的帧间RGB值的变化基本相同，故误检能够进一步被去除。此方法实验效果较好，但是在整个视频利用聚类的方法辨别雨滴和背景，计算效率不高，不能进行实时的处理。2007年Barnum等人(Barnum P C,Narasimhan S G,Kanade T.Analysis of rainand snow in frequency space.Internatio-nal Journal of Computer Vision,2010,86(23):256274)注意到之前的多数方法严重依赖于清晰雨线的提取，而雨线由于会造成重复的模式，在频域中对雨进行分析是合理的。作者建立高斯模型来近似雨的影响，并通过求在三维傅里叶变换中的模型所占比例进行雨滴检测，进而通过迭代去雨，最后反变换至视频图像。实验结果表明此种方法拥有较好的处理性能，但此方法的时间复杂度过高，且对于不显眼的雨及雨势变化的处理，其会出现显著性能下降。