[发明专利]用于图像补全的修复神经网络训练方法、装置、计算机设备和存储介质

说明书

本申请涉及一种用于图像补全的修复神经网络训练方法、装置、计算机设备和存储介质。所述方法包括：获取包括多张真实图像以及待修复图像的训练数据集，将各真实图像输入已训练的自动编码器网络，得到分别与真实图像相应的多个潜变量编码。将多张待修复图像以及多个潜变量编码进行随机组合后输入修复神经网络，依次得到与各随机组合对应的多个修复图像，若各修复图像均满足第一损失函数的约束，则完成训练并得到已训练的修复神经网络。若修复图像不满足第一损失函数的约束，则调整修复神经网络的参数，直至各修复图像均满足所述第一损失函数的约束。采用本方法能够缓解模式崩溃的问题，以及提高图像修复补全的多样性。

技术领域

本申请涉及图像修复技术领域，特别是涉及一种用于图像补全的修复神经网络训练方法、装置、计算机设备和存储介质。

背景技术

图像修复就是用特定的方法来完成图像中缺失的部分。同时，它要求修复后的图像在语义上是正确的，在视觉上是真实的。图像修复是一个古老的课题，在许多领域有着广泛的应用，如旧照片恢复、图像编辑、背景建模等。传统的图像修复方法是从图像的已知部分迭代修复图像。典型的方法有补丁匹配、快速匹配和同步结构。这些方法的最大局限性是通过像素空间中的块的相似性匹配来产生图像的缺失部分，缺乏对高层语义的理解，因此修复后的图像往往容易产生伪影。为了提高图像修复的效果，提出了一系列基于统计学习的方法，即利用深度神经网络学习训练数据的分布函数，利用学习的函数对图像进行修复。因此，与传统的方法相比，基于统计学习的方法大大提高了图像绘制的效果。虽然只能给出一个图像修复的方法和结果，但这些方法并不能产生真实感的图像。图像修复本质上是一个多模态不确定问题，即给定一幅待修复的图像，会有大量合理的恢复结果。

多样性图像修复本质上是一种状态图像生成任务。大多数条件图像生成方法以随机噪声矢量和条件内容为输入，产生不同的图像结果，其中噪声矢量主要起到可变激励的作用。然而，这些方法容易受到模式崩溃的影响，网络只从很少的数据分布模式生成图像，而忽略了许多其他模式。

发明内容

基于此，有必要针对上述技术问题，提供一种能够使得已训练的修复神经网络具备依据不同参考图像提供多样性补全结果的用于图像补全的修复神经网络训练方法、装置、计算机设备和存储介质。

一种用于图像补全的修复神经网络训练方法，其特征在于，包括：

获取训练数据集，所述训练数据集中包括多张真实图像以及待修复图像；

将各所述真实图像输入所述已训练的自动编码器网络，得到分别与所述真实图像相应的多个潜变量编码；

将多张所述待修复图像以及多个潜变量编码进行随机组合后输入修复神经网络，依次得到与各随机组合对应的多个修复图像，若各所述修复图像均满足第一损失函数的约束，则完成训练并得到已训练的修复神经网络；

若所述修复图像不满足所述第一损失函数的约束，则调整所述修复神经网络的参数，直至各所述修复图像均满足所述第一损失函数的约束。

可选的，所述第一损失函数包括比对学习损失函数以及背景重建损失函数。

可选的，在对所述修复神经网络进行训练之前还对所述自动编码器网络进行预先训练，使得所述已训练的自动编码器网络具备学习所述真实图像的特征以及本质规律，并将其转化为相应潜变量编码的能力。

可选的，训练所述自动编码器网络的方法包括：未训练的自动编码器网络包括编码器以及解码器；

获取训练真实图像，所述训练真实图像来自预训练数据集；

将所述训练真实图像输入编码器，得到训练潜变量编码；

将所述训练潜变量编码输入解码器，得到与所述训练真实图像相关的还原图像，若所述还原图像满足第二损失函数的约束，则完成训练并得到所述已训练的自动编码器网络；