[发明专利]一种受损图像修复方法、装置、电子设备及存储介质

权利要求书

1.一种受损图像修复方法，其特征在于，包括：

获取含有污损的目标图像序列；所述目标图像序列包括多帧连续的目标图像；

将所述含有污损的目标图像序列输入到基于时空信息融合的机器人双目视觉系统污损图像修复模型，得到修复后的目标图像序列；

所述基于时空信息融合的机器人双目视觉系统污损图像修复模型，包括分级编码器模块、与所述分级编码器模块的输出端连接的解耦时空域Transformer模块、相邻参考视角下采样模块、以及、与所述解耦时空域Transformer模块的输出端和所述相邻参考视角下采样模块的输出端均连接的多帧解码器；

所述分级编码器模块，用于：

对每帧目标图像的特征进行提取融合得到融合特征图，并组卷积各层所述融合特征图得到目标特征图；

所述解耦时空域Transformer模块，用于：对所述目标特征图进行处理，得到所述目标图像的时序信息和空间信息，并基于所述目标图像的时序信息和空间信息得到当前视角下的时序信息特征图；

所述相邻参考视角下采样模块，用于获取相邻参考视角下的特征图；

所述多帧解码器，用于将相邻参考视角下的特征图与当前视角的时序信息特征图中对应的特征块做相关性计算并解码，得到修复后的目标图像序列。

2.根据权利要求1所述的一种受损图像修复方法，其特征在于，在所述组卷积各层所述融合特征图得到目标特征图方面，所述分级编码器模块，具体包括：

将所述融合特征图沿各个拼接通道展开，并对展开后的各层特征图进行组卷积，得到目标特征图。

3.根据权利要求1所述的一种受损图像修复方法，其特征在于，所述解耦时空域Transformer模块，具体包括：

拆分模块，用于沿高度和宽度两个尺度方向，将所述目标特征图分成多个特征块，并将多个所述特征块经过编码转换为查询向量Q、键值向量K和值向量V；

时域Transformer模块，用于将多帧目标图像在相同位置上的特征块按照时间维度组合，并将经时间维度组合的特征库按照所述查询向量Q、所述键值向量K和所述值向量V输入多头注意力模型中，确定所述目标图像的时序信息；

空间Transformer模块，用于将每一帧目标图像对应的特征块根据原目标图像进行空间组合，并将经空间组合的特征块输入多头注意力模型中，确定所述目标图像的空间信息；

合并模块，用于基于所述目标图像的时序信息和空间信息得到当前视角下的时序信息特征图。

4.根据权利要求3所述的一种受损图像修复方法，其特征在于，所述时域Transformer模块和所述空间Transformer模块按时域空域顺序交替排列。

5.根据权利要求3所述的一种受损图像修复方法，其特征在于，在空域上，采用重建损失函数和感知损失函数来约束模型的训练过程，注重单帧图像的修复质量。

6.根据权利要求3所述的一种受损图像修复方法，其特征在于，在时域上，采用基于时域PatchGAN的对抗损失函数来约束模型的训练过程。

7.根据权利要求3所述的一种受损图像修复方法，其特征在于，所述相邻参考视角下采样模块，用于：

逐帧对齐相邻参考视角下的图像数据；

提取对齐后的图像数据的高级语义特征；所述高级语义特征为相邻参考视角下的特征图。