[发明专利]基于深度学习的水下扭曲图像重建方法

说明书

本发明涉及一种基于深度学习的水下扭曲图像重建方法，包括以下步骤：1)采集多帧扭曲图像序列，并对其进行数据融合，得到扭曲程度较小的预筛选扭曲图像；2)构建深度学习网络模型，并对其进行学习和训练；3)将预筛选扭曲图像作为深度学习网络模型的输入，得到模型输出，进而实现对水下扭曲图像的重建；本方案利用深度学习网络框架实现对水下扭曲图像的重建，将经过图像融合算法处理后的视频数据输入到深度学习网络中实现高质量的扭曲复原，利用视频帧中质量良好图像信息并通过构建深度学习网络框架能够更加高效和准确的复原水下扭曲图像，可有效提高扭曲图像复原效率及精度。

技术领域

本发明涉及水下图像处理的技术领域,具体涉及一种基于深度学习的水下扭曲图像重建方法。

背景技术

针对水面波动的情形，使用相机在水面上方向水下观测或使用水下相机在水下环境中拍摄空气中场景时，相机采集到的图像信息呈现扭曲形态。这是因为随着水体的波动，光线的传播方向会在穿过两个传播介质时由于折射而改变，继而导致看到的画面呈现出扭曲的状态。这不仅导致了图像的成像效果整体不佳，更给后续的图像处理等操作带来不便，因此扭曲图像的重建便是一项重要的课题。

如公开号为【CN 109993708 A】的发明专利公开一种基于暗原色与B样条配准的水下扭曲图像恢复方法，通过暗原色先验迭代去除视频序列中扭曲较大的图片，而后采用B样条迭代算法对图片进一步进行扭曲图像恢复操作。正如该文件所述，目前常用的水下扭曲场景复原方法是通过固定相机位置持续一段时间内采集水下静态目标的图像数据，以获得同一场景在不同的水面波动情况下的若干张图像，通过使用多帧图像来复原水下波动场景，目前典型的算法包括：Murase等人提出水面波动是随时间的高斯零均值分布的假设，认为在时间上的平均帧是未失真图像，利用这种幸运成像的方法选择失真最小的图像作为恢复图像；Efros等人将采集到的多帧图像分别进行处理，将每张图像分成若干块，对于每一帧图像中局部未失真的块提取出来进行拼接来获得与真实数据接近的最终结果；此外，Alterman等通过多相机技术来恢复场景对应的稀疏点云实现扭曲图像复原。

但是，以上方法都需要采集多张水下扭曲图像，求取多帧图像均值作为参考帧，通过与参考帧图像迭代配准方法复原图像，一般需要通过图像配准技术进行多次迭代，在计算过程中消耗大量时间，其复原能力有限、且效率较低，而且若所输入的图像扭曲严重，可能很难实现重建。

近年来，随着深度学习框架对图像处理的研究越来越丰富，并在端对端的图像映射方便表现出良好性能，在水下扭曲图像复原方面，ZhengqinLi等人提出一种神经网络的方法训练扭曲图像复原校正模型，其训练数据、验证数据和测试数据均来源于ImageNet图像并通过透明水槽采集扭曲的水下图像；但是现有的神经网络学习算法水下扭曲图像复原框架仅针对单张图像进行图像扭曲复原，对扭曲程度较弱的图像复原效果较好，而对扭曲严重的图像因缺少其他信息恢复效果明显不佳。

发明内容

本发明针对现有的扭曲图像重建方法复原能力有限、且效率低的缺陷，提出一种基于深度学习的水下扭曲图像重建方法，充分利用视频帧图像的信息量进行图像融合，并通过训练深度学习网络将融合后的水下扭曲图像作为输入，通过深度学习网络进行测试处理得到重建图像，可有效提高图像复原效率及精度。

本发明是采用以下的技术方案实现的：一种基于深度学习的水下扭曲图像重建方法，包括以下步骤：

步骤A、采集多帧扭曲图像序列，并对其进行数据融合，得到预筛选扭曲图像；

步骤A1、图像聚类分析，对待重建扭曲图像进行初步筛选；

(1)首先对输入的一组连续的视频帧图像计算均值，得到全部图像序列的均值图像，并以该均值图像作为参考帧；

(2)将每一帧视频帧图像分别与全部图像序列的均值图像进行SSIM度量得到各自对应的SSIM值；