[发明专利]超分修复网络模型生成方法、图像超分修复方法及装置

说明书

本申请实施例公开了一种超分修复网络模型生成方法，具体地，获取待训练图像，并将该待训练图像分别输入学生网络模型和教师网络模型，以获得该学生网络模型对应的损失函数。根据损失函数对学生网络模型的参数进行更新，以使得学生网络模型的损失函数满足预设条件，生成获得超分修复网络。学生网络模型为ESRGAN网络，该ESRGAN网络包括基本模块、上采样模块以及卷积模块。基本模块包括一个或多个RRDB模块，该RRDB模块包括多个处理模块，每个处理模块的输入作为后续处理模块的输入，增强特征的传递，使得后续处理模块利用更多的图像特征进行训练，提高修复效果。在处理模块中增加具有较小卷积核的第一卷积层，降低图像特征的维度，减少计算量，提高处理速度。

技术领域

本申请涉及图像处理技术领域，具体涉及一种超分修复网络模型生成方法、图像超分修复方法及装置。

背景技术

随着互联网技术的不断发展，短平快的大流量传播内容逐渐获得各大平台和用户的青睐，尤其是短视频的传输。然而，由于噪声、压缩等损失导致视频、图像画面模糊、噪点密集等情况，进而造成展示的画面较差。

为提高图像的质量，出现了大量的图像修复方法，如利用超分修复网络对图像进行修复。然而，为实现较好的修复效果，很多超分修复方法耗时严重，导致无法平衡修复效果和时延。

发明内容

有鉴于此，本申请实施例提供一种超分修复网络模型生成方法、图像超分修复方法及装置，提高修复效果，降低修复时延。

为解决上述问题，本申请实施例提供的技术方案如下：

在本申请实施例第一方面，提供了一种超分修复网络模型生成方法，该方法可以包括：

获取待训练图像，所述待训练图像为低分变率图像；

将所述待训练图像分别输入学生网络模型和教师网络模型，获得所述学生网络模型对应的损失函数；

根据所述损失函数对所述学生网络模型的参数进行更新，以使得所述学生网络模型的损失函数满足预设条件，生成超分修复网络模型；

所述学生网络模型为增强型超分辨生成对抗网络ESRGAN，所述ESRGAN网络包括基本模块、上采样模块以及卷积模块，所述基本模块包括一个或多个残差密度模块RRDB，所述RRDB包括多个处理模块，每个所述处理模块的输入作为后续的处理模块的输入，所述处理模块包括依次相连的第一卷积层、第二卷积层和激活层，所述第一卷积层的卷积核小于所述第二卷积层的卷积核。

在一种具体的实现方式中，所述第一卷积层的卷积核为1*1。

在一种具体的实现方式中，所述基本模块包括一个RRDB模块。

在一种具体的实现方式中，所述卷积模块包括第三卷积层，所述第三卷积层的卷积核等于所述第一卷积层的卷积核。

在一种具体的实现方式中，所述将所述待训练图像分别输入学生网络模型和教师网络模型，获得所述学生网络模型对应的损失函数，包括：

将所述待训练图像分别输入学生网络模型和教师网络模型，以获得像素蒸馏对应的第一损失函数、整体蒸馏对应的第二损失函数；

根据所述第一损失函数和所述第二损失函数获得所述学生网络模型对应的损失函数。

在一种具体的实现方式中，所述将所述待训练图像分别输入学生网络模型和教师网络模型，获得所述学生网络模型对应的损失函数，包括：

将所述待训练图像分别输入学生网络模型和教师网络模型，以获得像素蒸馏对应的第一损失函数、整体蒸馏对应的第二损失函数以及判别器对应的第三损失函数；

对所述第一损失函数、第二损失函数以及第三损失函数进行加权，获得所述学生网络模型对应的损失函数。