[发明专利]基于Retinex理论和端到端深度网络的水下图像复原方法

说明书

本发明公开了一种基于Retinex理论和端到端深度网络的水下图像复原方法，包括：1)简化Jaffe‑McGlamery水下成像模型，以符合Retinex理论基本假设；2)依据简化的Jaffe‑McGlamery水下成像模型以及环境光图空间平滑的先验条件估计环境光图，分解粗略场景反射率图；3)设计端到端深度网络实现水下图像的精细化复原；4)将粗略场景反射率图输入到端到端深度网络中进行训练，得到最优的端到端深度网络，最后，将待测的粗略场景反射率图输入到最优的端到端深度网络，网络的输出即为复原的水下图像。本发明消除光在水下传播时衰减和散射对成像过程的影响，以改善图像的视觉效果，有效恢复水下图像视觉质量。

技术领域

本发明涉及图像处理的技术领域，尤其是指一种基于Retinex理论和端到端深度网络的水下图像复原方法。

背景技术

在水下传播时，光的衰减，前后向散射特性导致水下图像呈蓝色调，雾状，模糊等降质现象。不同的水下环境使得水下图像呈现这些降质现象的不同组合。统计发现，95％的水下图像呈现色彩畸变现象，10％的水下图像呈现雾状(往往出现在悬浮颗粒严重，远景区域)，5％的呈现模糊.颜色畸变对水下图像质量的影响最为严重，色彩复原是水下图像复原中最为重要的内容。水下图像复原方法主要采用改进的大气成像模型，该模型对RGB各颜色通道分别建模。由于前向散射导致的模糊现象并不显著，因此该类算法忽略了前向散射导致的模糊现象，着重对后向散射和衰减建模。大部分的方法通过经验估计RGB各通道的衰减系数，这使得基于物理模型的复原算法(暗通道先验系列)颜色复原效果很一般，甚至引入更为严重的人为噪声(red artifact)。另一方面，水下图像增强算法面对水下图像色彩复原问题提出了不同的解决方案，一些论文采用简单的色彩增强方法，如红通道补偿，即将绿，蓝通道的值乘以一定的权重值加给红通道，另一些则采用灰度世界假设等颜色一致性算法。这些方案确实对颜色有一定的改善，但复原的颜色与真实的颜色依旧存在不小的差距。尽管近年来水下图像复原收到广泛关注，但水下图像复原依旧是一个具有挑战性的不适定问题。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于Retinex理论和端到端深度网络的水下图像复原方法，可有效恢复水下图像视觉质量。

为实现上述目的，本发明所提供的技术方案为：基于Retinex理论和端到端深度网络的水下图像复原方法，该方法是从水下图像中估计出环境光图，从而分解出场景反射率图，消除光在水下传播时衰减和散射对成像过程的影响，以改善图像的视觉效果；包括以下步骤：

1)简化Jaffe-McGlamery水下成像模型，仅保留该模型中的直接分量，忽略前向散射分量和后向散射分量，使简化的Jaffe-McGlamery水下成像模型符合Retinex理论基本假设，即水下图像是环境光图和场景反射率图的乘积；

2)依据简化的Jaffe-McGlamery水下成像模型以及环境光图空间平滑的先验条件估计环境光图，分解粗略场景反射率图：首先，采用多组不同参数的高斯卷积核对水下图像做滤波操作得到多个环境光图的估计，接着对水下图像和估计的环境光图分别作对数变换，然后将对数变换后的水下图像分别减去各个估计环境光得到差值，接着对差值加权平均得到均值，最后对均值进行归一化得到粗略场景反射率图；

3)设计端到端深度网络实现水下图像的精细化复原，有如下特点：a、多尺度，网络首先对粗略场景反射率图做两次下采样操作，然后使用1*1和3*3卷积核在不同尺度上提取特征，接着对提取到的不同尺度特征进行融合，得到最终的网络输出，使得底层图像的信息和高层语义信息均得以利用；b、轻量化，使网络参数更少，训练收敛更快；c、目标函数增加梯度约束，网络采用一范数和梯度一致性约束，使得复原结果更加清晰；

4)使用训练数据集对步骤3)设计的端到端深度网络中进行训练，得到最优的端到端深度网络，最后，将待测的粗略场景反射率图输入到最优的端到端深度网络，网络的输出即为复原的水下图像。