[发明专利]一种基于时-空-频三域联合处理的雨天视频复原方法

摘要

本发明提供种基于时-空-频三域联合的雨天视频复原方法，包括以下步骤：将输入视频序列转换到YCbCr空间；采用时域中值滤波法进行背景建模；计算帧间差序列，获得每帧图像对应的雨景区域；计算每帧图像雨景区域内各雨滴的最小外接矩形，计算每个雨滴的下落方向，构建雨滴下落方向直方图特征，得到每帧图像的雨滴下落方向特征；将每帧图像的Y通道变换到频域。根据雨滴下落方向特征，选取合适的楔形方向滤波器对图像的幅度谱进行滤波处理；将频域滤波结果反变换回空域，并结合原始图像帧的Cb和Cr通道图像，重新组合得到彩色图像。本发明能够明显提高视频视觉效果。

主权项

一种基于时‑空‑频三域联合的雨天视频复原方法，包括以下步骤：步骤1：将输入视频序列各帧图像由RGB颜色空间转换到YCbCr颜色空间，对Y通道图像序列进行步骤2至10的处理，对Cb和Cr两通道的图像进行步骤10的处理；步骤2：采用时域中值滤波法进行背景建模，对于第k帧图像I_k，(x,y)位置上像素点灰度值用I_k(x,y)表示，经过时域中值滤波后得到对应的模板图像为B_k；步骤3：利用背景图像，计算帧间差图像：预设帧间差阈值T₁，根据I_k和B_k，计算帧间差二值图D_k；步骤4：设定面积阈值，考察D_k(x,y)中各连通区域的面积，将面积小于面积阈值的区域作为干扰区域并去除，处理后的二值图像记为R_k，将R_k中取值为1的区域判为潜在的雨景区域，设总个数为S；步骤5：对于R_k中的每一个子区域R_k(s)(s=1,2,...,S)，S计算R_k(s)对应的最小外接矩形（MBR），用MBR_k(s)表示，按逆时针方向，计算水平坐标轴到该外接矩形长边的角度，记为ANG_k(s)，ANG_k(s)的取值范围在0°～180°之间；步骤6：根据第k帧图像中各ANG_k(s)的取值，计算方向直方图，用HIST_k(θ)，将θ的取值分为8种情况，分别对应着区间[0°,22.5°)、[22.5°,45°)、[45°,67.5°)、[67.5°,90°)、[90°,112.5°)、[112.5°,135°)、[135°,157.5°)、[157.5°,180°)，考察HIST_k(θ)中8个方向的取值，将取值最大的区间作为第k帧图像中雨滴下落的方向；步骤7：使用二维傅里叶变换，将I_k变换到频率域，其幅度谱图像用F_k表示，相位谱用P_k表示，按照步骤6的8个方向在频域构造楔形滤波器；步骤8：对于某一帧频域图像，根据前面步骤得到的雨滴下落方向特征，从步骤7得到的楔形滤波器中选择合适的一个，对F_k进行滤波处理，处理结果用F′_k表示；步骤9：使用F′_k和P_k，通过二维傅里叶逆变换，反变换到空域，处理结果用I′_k表示；步骤10：使用I′_k以及原始的Cb和Cr通道图像，重新组合得到彩色图像。