[发明专利]基于全局一致性的海洋叶绿素浓度图像的补全方法及网络

说明书

本发明属于图像处理技术领域，公开了基于全局一致性的海洋叶绿素浓度图像的补全方法及网络，采用全局一致性提取网络提取全局一致性向量，采用时序演进相关性提取网络提取时序相关性向量，最后利用图像补全网络基于全局一致性的约束和其他时刻的时序相关性对图像进行补全，输出补全的图像。通过本发明解决了现有技术未考虑其他时刻的情况的问题、未充分利用全局一致性的约束性的问题。

技术领域

本发明属于图像处理技术领域，涉及图像补全方法，特别涉及基于全局一致性的海洋叶绿素浓度图像的补全方法及网络。

背景技术

利用深度神经网络开展海表面叶绿素浓度时空数据场补全是近年来将人工智能应用于海洋科学的重要尝试。传统方法通常基于生成模型，如生成对抗网络、重构模型，如编码器-解码器等神经网络模型，利用历史海洋数据直接对海洋叶绿素浓度补全场进行估计和补全。传统方法存在以下问题：补全不稳定、不准确，造成的原因是由于：一方面，传统方法通常采用一次补全的方式直接对缺失区域开展补全，另一方面，叶绿素浓度场的数值范围通常很大，而直接对这么大的数值范围进行估计会导致补全过程非常不稳定，同时又难以准确的估计每个点的数值，从而限制了补全的准确性。

目前，基于深度学习的海洋叶绿素浓度补全的前沿方法采用“由粗到细“的图像补全机制，大多采用两阶段的补全方法，整体结构如图1所示，首先采用海洋叶绿素浓度月均值估计周均值，然后借助待补全的海洋叶绿素浓度日数据中未缺失的部分和周均值的间的偏差值去估计缺失部分的偏差，然后再与周平均值进行叠加得到补全的日叶绿素浓度场，实现了在图像补全过程中既兼顾全局的一致性又兼顾局部的细粒度准确性，解决了基于深度学习的海洋图像补全传统方法直接补全图像造成的补全不稳定、不准确的问题。

但是，该方法存在以下问题：第一，在局部建模过程中仅利用待补全数据当天的未缺失数据，忽略了其他时刻的情况，降低结果的可靠性。例如，在海洋图像中，单一时刻海洋叶绿素浓度场不仅在数值大小上受到之前多个时刻的影响。第二，在局部建模过程中将缺失部分估计得到的偏差与周平均值进行直接叠加得到补全结果，该融合机制未充分利用全局一致性的约束性，容易引入局部的噪声干扰。例如，该方法在利用未缺失数据与周均值数据之间偏差的数据模式来估计缺失区域数据的过程中，该数据模式几乎完全依赖于未缺失数据的情况，而在海洋环境中，叶绿素浓度场通常会受到一些不可控因素的噪声干扰，例如突然出现的台风以及海洋中的涡旋等，因此，未缺失数据夹带了大量噪声的干扰，干扰了局部建模过程对缺失部分的估计，随后该方法又将局部估计的结果与周均值直接进行叠加，这种简单直接的融合方式未利用中长时序均值的全局一致性对两者的融合过程进行降噪约束，容易引入噪声的干扰，降低补全的质量。

发明内容

针对现有技术存在的不足，本发明提供基于全局一致性的海洋叶绿素浓度图像的补全方法及网络，通过全局一致性提取网络借助周均值提取出全局一致性向量，随后，时序演进相关性提取网络借助历史数据来抽取其他时刻的时序相关性向量，最后在图像补全网络中，本方法利用全局一致性向量的约束和其他时刻的时序相关性向量对叶绿素浓度图像进行补全；本发明解决了现有技术局部建模过程中未考虑其他时刻的情况的问题、未充分利用全局一致性的约束性的问题。

为了解决上述技术问题，本发明采用的技术方案是：

首先，本发明提供一种基于全局一致性的海洋叶绿素浓度图像的补全方法，包括以下步骤，分别介绍。

S1、图像数据获取：

获取不同时刻的叶绿素浓度图像SST、周平均图像、待补全图像、待补全图像的云掩码图像。

S2、全局一致性提取：

输入周平均图像、待补全图像及待补全图像的云掩码图像，通过由神经网络组成的全局信息编码器输出全局一致性向量。

S3、时序演进相关性提取：