[发明专利]基于条件生成对抗网络的水下图像增强方法及系统

说明书

本发明提出了一种基于条件生成对抗网络的水下图像增强方法及系统，通过提取并融合多尺度局部特征以及全局特征来校正退化水下图像的色彩，通过构建用于水下图像增强的注意力模块AMU来提升特征提取效果，在训练中引入感知损失与总变差损失来提升生成图像的质量，抑制噪声出现。本发明的方法可为智能化水产养殖的行为监测、病害识别等高层次视觉任务提供清晰的水下环境信息，推动智能集约化水产养殖健康可持续发展。

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于条件生成对抗网络的水下图像增强方法及系统。

背景技术

截至2021年，全球水产养殖业规模已达到2094.2亿美元。随着水产养殖业的飞速发展，鱼群行为监测、鱼病识别等工作的需求逐步扩大，因此需要清晰的水下图像为这些高层次视觉任务提供高度可用的图像资源。目前，已有相关研究证明，与原始图像相比，经过增强后的图像对关键点匹配、目标检测、目标追踪等方面均有较好的改善效果。在智慧水产养殖业中，如水下水下生物监测、水下鱼类追踪等视觉工作需要清晰的水下图像资源。然而，与大气环境不同，在水下环境中，水体对光线具有吸收和散射作用，水中也会有悬浮颗粒的存在，这些因素导致水下图像出现偏色、模糊等退化现象，为相关水下工作的开展造成阻碍。

退化后的水下图像难以直接应用于智能化水产养殖的相关水下工作，也为传统的图像处理技术带来了挑战。因此，研究人员逐步开展水下图像增强的相关研究。传统水下图像增强方法采用固定参数和物理模型，通过对图像的像素值进行调整来增强退化图像。但是，上述方法仅针对单一环境中的图像进行处理，无法适应各种复杂的水下环境。由于卷积神经网络(CNN)的出色性能，使其在诸多计算机视觉任务中得到广泛应用。因此，研究人员开始将CNN引入水下图像增强领域。基于CNN提出了水下图像增强框架UIE-Net，用来进行颜色校正；引入残差学习策略，结合CNN提出了水下残差卷积神经网络URCNN。自生成对抗网络出现以来，其在图像处理、文本生成、音视频生成等领域均有广泛应用，该网络能够以对抗性的方式生成类似真实的数据，而这一特性恰好弥补了水下图像数据集缺少退化之前图像的弊端。也有人提出WaterGAN用于生成成对的水下图像数据集并进行颜色校正；通过结合循环生成对抗网络(CycleGAN)和暗通道先验算法，另一些研究者提出了基于多尺度循环生成对抗网络(MCycle GAN)的水下图像修复方法以及基于条件生成对抗网络(CGAN)提出了一种新的水下图像增强模型FUnIE-GAN，还构建了包含成对和非成对水下图像的数据集EUVP。这些基于学习的方法通过大量数据进行训练，以适应多种水下环境。所以，提高水下图像提取的清晰等是现阶段针对智慧养殖亟待解决的问题。

发明内容

为了解决上述问题，本发明提出了一种基于条件生成对抗网络的水下图像增强方法及系统，用来对退化的水下图像进行颜色校正，从而为后续视觉工作提供清晰的视觉环境。

一方面，本发明提出了一种基于条件生成对抗网络的水下图像增强方法，包括如下步骤：

步骤1：获取水下退化图像和对应的纯净图像的成对图像集，并分为训练集和测试集；

步骤2：将所有图像缩放为大小相同的尺寸；

步骤3：模型构建，包括：基于编解码器结构对图像进行全局和局部特征提取；将全局特征分别与各尺度的局部特征进行融合；将全局特征经过逐层上采样进行图像还原，每个上采样层与对应尺度的融合特征进行连接；将生成的图像送入判别器网络，判断其是否来自于真实数据，促使生成器网络进行调整；

步骤4：模型训练和测试，保存测试好的模型；

步骤5：利用测试好的模型对实际水下图像进行处理。

优选地，编解码器结构为改进的U-Net网络，其包括8层降采样，并通过逐层卷积的方式对输入图像进行全局和局部特征提取。

更优选地，降采样层的每一个由LeakyRelu层、二维卷积层和批归一化层组成。