[发明专利]基于像素级自监督训练的水下图像合成方法

说明书

本发明属于计算机视觉领域，具体涉及了一种基于像素级自监督训练的水下图像合成方法，旨在解决现有技术无法实现稳定的高质量水下图像合成的问题。本发明包括：获取待合成自然光图像、对应的图像深度信息、图像深度信息以及随机生成的噪声矢量；通过水下图像合成模型的衰减模块进行待合成自然光图像的衰减，通过水下图像合成模型的散射模块进行图像深度信息的散射，并连接衰减图像和散射信息；通过水下图像合成模型的虚拟光校正模块的逆运算进行光晕添加，获得待合成自然光图像对应的合成水下图像。本发明实现了稳定的高质量水下图像合成，并且模型训练效率高，训练数据获取难度低。

技术领域

本发明属于计算机视觉领域，具体涉及了一种基于像素级自监督训练的水下图像合成方法。

背景技术

近年来，水下机器人受到越来越多的关注，被广泛应用于水下勘探和监测。视觉作为一种重要的环境感知工具，在整个操作过程中扮演着重要角色，但由于水下环境的特殊性，水下视觉面临着巨大的挑战。如今，以各种神经网络为代表的深度学习方法在图像分类、物体检测和运动识别等计算机视觉任务中取得了巨大成功。这为水下计算机视觉的发展提供了可能。但是，大多数深度学习方法需要大量的训练数据才能获得出色的泛化性能，这对于水下任务而言非常困难。由于水下环境的特殊性，水下拍摄的成本非常高，导致可标记的水下数据很少，所以，现有的水下数据集比陆地数据集小得多。由于陆地数据集和水下数据集之间的巨大差异，导致陆地数据集并不适合水下视觉任务。因此，如何获得丰富的水下数据集是水下计算机视觉的重要研究内容。鉴于陆地图像数据集丰富、数据量大，我们可以通过消除分布差异来将陆地数据集用于合成水下图像，有效扩展水下数据集。

目前，大多数水下图像生成方法都基于生成对抗网络(GAN，GenerativeAdversarial Network)，且生成的水下图像主要用于提高水下图像恢复的质量。例如，Li提出了一种基于深度学习的水下图像增强模型，称为Water-GAN，能够根据自然光照图像和成对的深度图生成水下图像。Fabbri采用CycleGAN生成真实的水下图像，但是，CycleGAN生成的图像会产生新的噪声，原因是此方法仅转换了图像风格，而没有考虑水下光线的实际情况。Wang提出了一种水下图像生成方法，称为UWGAN，该方法改进了Water-GAN，采用光雾效应代替了相机模型。但是，基于GANs的方法在训练过程非常不稳定，容易出现模式崩溃的问题。

发明内容

为了解决现有技术中的上述问题，即现有技术无法实现稳定的高质量水下图像合成的问题，本发明提供了一种基于像素级自监督训练的水下图像合成方法，该方法包括：

步骤S10，获取待合成自然光图像I_air、对应的图像深度信息D、以及随机生成的噪声矢量z；

步骤S20，基于所述图像深度信息D以及获取的R、G和B通道的衰减相关系数，通过水下图像合成模型的衰减模块进行所述待合成自然光图像I_air的衰减，获得衰减图像G₁；基于所述随机生成的噪声矢量z，通过水下图像合成模型的散射模块进行所述图像深度信息D的散射，获得散射信息B_c；

步骤S30，将所述衰减图像G₁与所述散射信息B_c连接，获得散射衰减图像G₂；

步骤S40，通过水下图像合成模型的虚拟光校正模块的逆运算进行所述散射衰减图像G₂的光晕添加，获得待合成自然光图像I_air对应的合成水下图像G₃。

在一些优选的实施例中，所述衰减图像G₁，其获取方法为：

其中，为R、G和B通道的衰减相关系数，是一个由图像深度信息D、可见光的反射率ρ、环境光的光谱E、摄像机的光谱响应S_c以及水体的束衰减系数β(λ)组成的向量。