[发明专利]基于深度学习的视频去雾系统

权利要求书

1.基于深度学习的视频去雾系统，其特征在于包括以下步骤：

1)输入有雾视频，用前背景分割法对视频进行预处理；

2)采用双三次插值算法提高视频处理速度，实现视频的实时去雾；

3)在NYU2数据集上根据大气散射模型生成有雾图的方法得到有雾图像数据集用于训练和测试；

4)采用基于CNN的端到端去雾网络实现视频去雾，先通过K估计模块来估计K(x)的值，再经过清晰图像生成模块根据大气散射物理模型计算出清晰图像J(x)；

5)图像融合，降噪处理，输出去雾视频。

2.按照权利要求1所述的基于深度学习的视频去雾系统，其特征在于：

步骤1)中前背景分割法由以下的方式确定：

本发明采用背景分离的方法，从视频序列中分离出前景和背景图像，分别进行去雾处理，最后再进行图像的融合。前背景的分离采用基于多帧视频平均建模算法，将视频中运动的物体看做是噪声，利用累加平均来消除噪声，得到视频的前景和背景信息，之后采用步骤4)的去雾算法进行去雾处理，最后再采用图像融合的方法对其进行融合。

3.按照权利要求1所述的基于深度学习的视频去雾系统，其特征在于：

步骤2)中采用双三次插值算法提高视频处理速度，设f(i，j)为点(i，j)对应的像素值，其中点A、B、C、D、E的坐标依次为(i-1，j-1)、(i-1，j+2)、(i+2，j+2)、(i+2，j-1)、(i+u，j+v)，点E(i+u，j+v)的像素f(i+u，j+v)可以利用如下公式计算

f(i+u，j+v)＝XYZ

上述公式中x、Y、Z的计算如下所示：

X＝[S(1+v) S(v) S(1-v) S(2-v)]

Z＝[S(1+u) S(u) S(1-u) S(2-u)]^T

其中S(x)是用来拟合插值函数sin(x)/x的多项式。

4.按照权利要求1所述的基于深度学习的视频去雾系统，其特征在于：

步骤3)中合成有雾数据集基于大气散射物理模型I(x)＝J(x)t(x)+A(1-t(x))，设置不同的大气光A，通过在[0.6，1.0]之间均匀地选择每个通道，并选择β∈{0.4，0.6，0.8，1.0，1.2，1.4，1.6}，根据计算I(x)，便可得到有雾图像数据集。

5.按照权利要求1所述的基于深度学习的视频去雾系统，其特征在于：

步骤4)采用的端到端网络包含K估计模块和清晰图像生成模块。本发明受AOD-Net的启发，将A和t(x)统一为一个公式，J(x)的计算公式可重写为：

J(x)＝K(x)I(x)-K(x)+b

这样，和A都被整合到新的变量K(x)中，b是偏差，通常被设为1；K(x)依赖于I(x)。基于以上得出的J(x)与K(x)之间的计算公式，通过估计K(x)直接得到去雾图像。K估计模块用来估计K(x)的值，由五个卷积层构成，通过融合不同大小的卷积核形成多尺度特征。