[发明专利]基于全局一致性的海洋叶绿素浓度图像的补全方法及网络

权利要求书

1.基于全局一致性的海洋叶绿素浓度图像的补全方法，其特征在于，包括以下步骤：

S1、图像数据获取：

获取不同时刻的叶绿素浓度图像SST、周平均图像、待补全图像、待补全图像的云掩码图像；

S2、全局一致性提取：

输入周平均图像、待补全图像及待补全图像的云掩码图像，通过由神经网络组成的全局信息编码器输出全局一致性向量；

S3、时序演进相关性提取：

获取不同时刻的叶绿素浓度图像SST的云掩码图像M，将不同时刻的叶绿素浓度图像SST与周平均图像作差后得到不同时刻的偏差图像，然后将偏差图像与相应的云掩码图像M一同输入由神经网络组成的时序信息编码器中，随后输出不同时刻的表征向量，最后使用由门控循环神经网络单元组成的时序建模模块来提取不同时刻的表征向量的时序相关性，输出时序相关性向量；

S4、图像补全：

将步骤S2输出的全局一致性向量和步骤S3输出的时序相关性向量输入基于U-net网络设计的全局一致性约束下的时序演进深层解码模块，该全局一致性约束下的时序演进深层解码模块基于全局一致性向量的约束和时序相关性向量对图像进行补全，输出补全的图像；所述全局一致性约束下的时序演进深层解码模块包括上下两流，上流包括多层由反卷积层和原始卷积层组成的基本神经网络层，下层包括多层由反卷积层、跳跃连接层和原始卷积层组成的神经网络层，上流处理步骤S2输出的全局一致性向量，下流处理步骤S3输出的时序相关性向量，上流中的每一层的基本神经网络层的输出都与下流中的相应输出进行f操作，其中，f操作的公式如下：

f＝α·K⊙Emb_seq+β·(1-K)⊙Emb_glo     (5)

K＝sigmoid(Emb_seq⊙Emb_glo)    (6)

其中，α、β是超参数，⊙代表点乘，sigmoid为sigmoid函数，Emb_glo为步骤S2输出的全局一致性向量，Emb_seq为步骤S3输出的时序相关性向量；

最后，补全的图像和真实的图像一同送入判别器开展整个模型的训练。

2.根据权利要求1所述的基于全局一致性的海洋叶绿素浓度图像的补全方法，其特征在于，所述全局信息编码器和时序信息编码器结构相同，包括多个门控卷积层。

3.根据权利要求1所述的基于全局一致性的海洋叶绿素浓度图像的补全方法，其特征在于，所述时序建模模块包括多个门控循环神经网络单元，不同时刻的表征向量作为时序建模模块的输入，分别输入门控循环神经网络单元1、门控循环神经网络单元2、门控循环神经网络单元3，分别简称为GRU₁、GRU₂、GRU₃，过程如下：

h₁＝GRU₁(Emb_t-3，h₀)，  (1)

h₂＝GRU₂(Emb_t-2，h₁)，  (2)

h₃＝GRU₃(Emb_t-1，h₂)，  (3)

Emb_seq＝h₃，  (4)

其中，用隐藏状态h来表示不同时刻之间的时序信息，其中h₀初始化为随机值；首先，t-3时刻的表征向量Emb_t-3与随机初始隐藏状态h₀一同送入GRU₁，随后GRU₁输出隐藏状态h₁，之后，隐藏状态h₁再与t-2时刻的表征向量Emb_t-2一同送入GRU₂，类似地，随后GRU₂输出隐藏状态h₂并与t-1时刻的表征向量Emb_t-1一同输入GRU₃，最后GRU₃输出的隐藏状态h₃即是时序相关性向量Emb_seq。

4.基于全局一致性的海洋叶绿素浓度图像的补全网络，其特征在于，用于实现权利要求1-3任一项所述的基于全局一致性的海洋叶绿素浓度图像的补全方法，所述网络包括全局一致性提取网络、时序演进相关性提取网络、图像补全网络，所述全局一致性提取网络，包括全局信息编码器，用于提取全局一致性向量；

所述时序演进相关性提取网络，包括时序信息编码器和时序建模模块，用于提取时序相关性向量；

所述图像补全网络，包括全局一致性约束下的时序演进深层解码模块和判别器，用于利用提取的全局一致性向量和时序相关性向量对原始图像进行补全，得到补全的图像，并将补全的图像与原始图像进行判别。