[发明专利]模型训练、图像超分辨处理方法、装置、终端及存储介质

说明书

本申请提供一种模型训练、图像超分辨处理方法、装置、终端及存储介质，涉及模型训练技术领域。该方法包括：对样本低分辨率图像对应的原始高分辨率图像进行降采样，得到包括原始高分辨率的多个分辨率的高分辨率图像；分别采用多个特征提取分支，对样本低分辨率图像进行特征提取，得到多个层次的图像特征；采用特征融合模块，对多个层次的图像特征融合处理，得到样本低分辨率图像的融合特征；采用多个重建分支，对融合特征重建处理，得到多个分辨率的超分辨率图像；根据多个分辨率的高分辨率图像和对应的超分辨率图像，对神经网络模型训练。通过该神经网络模型对低分辨率图像恢复，生成的超分辨率图像所包含的语义信息更加丰富，清晰度也更高。

技术领域

本发明涉及模型训练技术领域，具体而言，涉及一种模型训练、图像超分辨处理方法、装置、终端及存储介质。

背景技术

图像分辨率指图像中存储的信息量，是每英寸图像内有多少个像素点。低分辨率图像清晰度较差，所包含的特征也较少。将低图像分辨率图像恢复为超分辨率图像，可以提高图像的清晰度，使得图像所包含的细节更加真实。

相关技术中，通过设置多个特征提取块，对多个尺度特征提取块依次串联，以通过串联的多个特征提取块提取不同层次的图像特征，根据不同层次的图像特征生成超分辨率图像。

但是，相关技术中，通过串联的多个特征提取块提取图像特征，直接生成超分辨率图像，会出现生成的超分辨率图像存在较多的噪声和伪影，导致生成的超分辨图像清晰度较差的问题。

发明内容

本发明的目的在于，针对上述现有技术中的不足，提供一种模型训练、图像超分辨处理方法、装置、终端及存储介质，以解决相关技术中，通过串联的多个特征提取块提取图像特征，直接生成超分辨率图像，会出现生成的超分辨率图像存在较多的噪声和伪影，导致生成的超分辨图像清晰度较差的问题。

为实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种模型训练方法，所述模型训练方法应用于神经网络模型，所述神经网络模型包括：特征提取模块和重建模块，所述特征提取模块包括：多个特征提取分支和特征融合模块，不同的特征提取分支对应不同层次的图像特征；所述重建模块包括：多个重建分支，不同的重建分支对应不同的分辨率，后一分辨率的重建分支的输入为前一分辨率的重建分支的输出，其中，所述后一分辨率大于所述前一分辨率；所述方法包括：

对输入的样本低分辨率图像对应的原始高分辨率图像进行至少一次降采样，得到包括所述原始高分辨率的多个分辨率的高分辨率图像；

分别采用所述多个特征提取分支，对所述样本低分辨率图像进行特征提取，得到多个层次的图像特征；

采用所述特征融合模块，对所述多个层次的图像特征进行融合处理，得到所述样本低分辨率图像的融合特征；

分别采用所述多个重建分支，对所述融合特征进行重建处理，得到所述多个分辨率的超分辨率图像；其中，最后一个重建分支输出的图像为所述样本低分辨率图像对应的目标超分辨率图像；

根据所述多个分辨率的高分辨率图像和对应的超分辨率图像，对所述神经网络模型进行训练。

进一步地，所述根据所述多个分辨率的高分辨率图像和对应的超分辨率图像，对所述神经网络模型进行训练，包括：

根据所述多个分辨率的高分辨率图像和对应的超分辨率图像，确定初始神经网络模型的损失函数值；

根据所述损失函数值，对所述神经网络模型的参数进行调节，直至调节后的神经网络模型的损失函数值收敛。

进一步地，所述根据所述多个分辨率的高分辨率图像和对应的超分辨率图像，确定所述神经网络模型的损失函数值，包括：