[发明专利]一种受损图像修复方法、装置、电子设备及存储介质

说明书

本发明公开了一种受损图像修复方法、装置、电子设备及存储介质，涉及图像修复技术领域，该方法主要包括：将含有污损的目标图像序列输入到基于时空信息融合的机器人双目视觉系统污损图像修复模型，得到修复后的目标图像序列；该模型包括分级编码器模块、与所述分级编码器模块的输出端连接的解耦时空域Transformer模块、相邻参考视角下采样模块、以及、与所述解耦时空域Transformer模块的输出端和所述相邻参考视角下采样模块的输出端均连接的多帧解码器；本发明使最终修复完成的图像序列具有单帧内容完整、结构合理且连续帧之间不存在时间闪烁现象。

技术领域

本发明涉及图像修复技术领域，特别是涉及一种受损图像修复方法、装置、电子设备及存储介质。

背景技术

随着自主机器人的不断发展，其在工业自动化、服务行业、智能安防以及国防安全等领域发挥着越来越重要的作用，尤其是在某些极端的环境中，自主机器人更是被寄予了代替人类从事危险工作的厚望。为使自主机器人具备自主能力，首先便要赋予自主机器人良好的环境感知能力。而视觉传感器因其能够获取丰富的图像信息以及能耗低等优点，被广泛应用于自主机器人的感知领域。由于自主机器人复杂的非结构化的工作环境，视觉传感器往往会受到外界环境或突发事件的影响，导致视觉传感器附着泥沙、水珠等杂物，使得获取的图像存在污损，进而影响自主机器人的自主感知以及决策操作等一系列自主作业过程。因此，对于在恶劣工况环境中作业的自主机器人而言，能够对获取的污损图像进行在线实时修复，保证获取的视觉图像信息的完整和准确极其重要。

图像修复是指对图像受损部分的重建。传统的图像修复方法利用图像受损区域的周围相似像素得到参考信息，直接进行复制和边缘修补融合，这使得其在受损区域较小、纹理简单的图像上修复效果明显，但在处理大区域受损且具有复杂纹理的图像时，传统方法的修复结果常出现语义结构混乱的情况。而对于自主机器人而言，其所采集的图像具有时序特性，即可近似为视频信息，这对图像修复提出了更高要求。此外现有的大多数图像修复方案，仅注重符合人眼的直观逻辑，而不引入污损区域的实际情况进行修复，最终修复得到的图像可能与自主机器人所处环境的真实情况相距较远，从而导致自主机器人做出错误的决策，造成严重隐患。因此需要一种即能够实时实现图像的空间一致性又能够保证视频帧间的时间连续性的图像修复方法

发明内容

本发明的目的是提供一种受损图像修复方法、装置、电子设备及存储介质，使最终修复完成的图像序列具有单帧内容完整、结构合理且连续帧之间不存在时间闪烁现象。

为实现上述目的，本发明提供了如下方案：

第一方面，本发明提供了一种受损图像修复方法，包括：

获取含有污损的目标图像序列；所述目标图像序列包括多帧连续的目标图像；

将所述含有污损的目标图像序列输入到基于时空信息融合的机器人双目视觉系统污损图像修复模型，得到修复后的目标图像序列；

所述基于时空信息融合的机器人双目视觉系统污损图像修复模型，包括分级编码器模块、与所述分级编码器模块的输出端连接的解耦时空域Transformer模块、相邻参考视角下采样模块、以及、与所述解耦时空域Transformer模块的输出端和所述相邻参考视角下采样模块的输出端均连接的多帧解码器；

所述分级编码器模块，用于：

对每帧目标图像的特征进行提取融合得到融合特征图，并组卷积各层所述融合特征图得到目标特征图；

所述解耦时空域Transformer模块，用于：对所述目标特征图进行处理，得到所述目标图像的时序信息和空间信息，并基于所述目标图像的时序信息和空间信息得到当前视角下的时序信息特征图；

所述相邻参考视角下采样模块，用于获取相邻参考视角下的特征图；