[发明专利]一种图像修复方法及存储介质

说明书

本发明公开了一种图像修复方法及存储介质，所述图像修复方法包括：利用记忆神经网络系统和损失函数对图像训练集先后进行初步修复操作和清晰完善操作，得到最终修复后的图像集；其中，所述图像训练集包括一一对应的待修复图像和真实图像，所述修复后的图像集为清晰完整的图像集且包括最终修复后的图像。本发明能够解决现有记忆网络过于简单，难以解决复杂问题且缺乏层次化的结构的问题。

技术领域

本发明涉及图像处理技术领域，具体涉及一种图像修复方法及存储介质。

背景技术

传统的循环神经网络以及长短期记忆网络模型的隐藏状态或者基于注意力机制的记忆存储能力太弱,无法存储太多的信息,很容易丢失一部分语义信息,所以记忆网络通过引入外部存储来记忆信息。但是记忆网络其本身结构过于简单，缺乏层次化的结构，因此无法解决较为复杂的问题。

传统的MemoryNetwork模型结构一般会包含四个模块：I:(输入)、G：(泛化)、O(输出)以及R(响应)，此外还有一些记忆单元用于存储记忆。由于MemoryNetwork的自身存在的某些缺陷,其难以使用反向传播进行模型训练，且模型想要解决的问题复杂度过高。即使在理论上可行，但在实际使用中效率也很低下。

发明内容

本发明的目的在于提供一种图像修复方法及存储介质，以解决现有记忆网络过于简单，难以解决复杂问题且缺乏层次化的结构的问题。

本发明解决上述技术问题的技术方案如下：

本发明提供一种图像修复方法，所述图像修复方法包括：

利用记忆神经网络系统和损失函数对图像训练集先后进行初步修复操作和清晰完善操作，得到最终修复后的图像集；其中，所述图像训练集包括一一对应的待修复图像和真实图像，所述修复后的图像集为清晰完整的图像集且包括最终修复后的图像。

可选择地，所述利用记忆神经网络系统和损失函数对图像训练集先后进行初步修复操作和清晰完善操作，得到最终修复后的图像集，步骤包括：

S1：利用神经网络系统中的生成网络对所述图像训练集中的原始图像进行初步修复操作，得到初步修复后的图像；

S2：利用损失函数计算所述初步修复后的图像和所述原始图像之间的差距程度，所述损失函数为：

L＝L_GAN+λ_pL_p；

其中，L表示损失函数，L_GAN表示生成对抗网络的损失函数,L_p为像素误差，λ_p为L_p的权重系数，且α表示MS-SSIM与L1损失函数的占比，其具体取值根据任务和模型训练情况可进行调整，L_MS-SSIM表示MS-SSIM+L1，Loss为损失函数，且G是生成网络，表示生成网络，I_U是待修复图像，表示L1损失函数，且λ表示梯度惩罚项，N为生成图片数，p代表从生成网络以及判别网络中各自取值到的线性采样,代表取真实样本，代表的线性采样,代表取真实样本，代表的线性采样，M表示不同尺度，m从1取到M，μ_p，μ_g分别表示预测图像和Ground truth的均值，σ_p，σ_g分别表示预测图像和Ground truth之间的标准差，σ_pg表示预测值和Ground truth之间的协方差，c₁，c₂作为常数项以防止被除数为0，β_m，γ_m表示两项之间的相对重要性，表示预测图像和Ground truth的逐像素取值；

S3：根据所述差距程度，利用神经网络系统中的判别网络对所述初步修复后的图像进行清晰完善操作，得到修复后的图像；