[发明专利]一种通用的真实世界单帧图像超分辨增强方法

说明书

本发明公开了一种通用的真实世界单帧图像超分辨增强方法。方法包括以下步骤：S1利用频域数据增强方法对真实世界退化图像和对应的高分辨图像进行数据增强处理，获得增强图像集；S2利用增强退化图像振铃效应方法对增强图像集再进行数据增强后，获得输入图像集，由输入图像集和对应高分辨图像构成训练集；S3将训练集输入到超分辨网络进行训练，获得训练好的超分辨网络；S4将待重建的真实世界退化图像输入到训练好的超分辨网络中进行预测，获得重建的高分辨图像。本发明减少了超分辨网络在重建真实世界退化图像时产生的振铃，生成的图像效果自然、结构清晰，提升了超分辨方法在真实世界图像上的重建性能。

技术领域

本发明属于图像处理技术、计算机视觉、深度学习领域的一种图像超分辨处理方法，尤其涉及一种通用的真实世界单帧图像超分辨增强方法。

背景技术

单帧图像超分辨任务在计算机视觉领域有广泛的应用，如目标识别、医学图像处理、航空成像等。单帧图像超分辨的任务旨在从低分辨图像中恢复高分辨图像，这一问题是病态的，因为每一个低分辨的输入对应多个高分辨图像。

近年来，随着深度学习的发展，基于卷积神经网络的超分辨方法相继被提出，并且极大地提升了超分辨算法性能，这些方法采用数据集往往是在理性退化情况下得到的(例如，采用双三次插值的方式进行退化)，但当这些超分辨方法处理真实世界退化图像时性能往往有极大的下降，近期有人真实拍摄了分辨退化的数据集以期望提升超分辨算法在真实世界的处理性能。

经典的超分辨方法直接处理真实拍摄的数据集往往不能得到好的结果，是因为他们忽略了真实世界退化过程的复杂性，仅仅采用了对理想退化的得到的数据集的方法。

为了提高已经提出的超分辨方法对真实世界拍摄的超分辨数据集的解析力，

有一些方法提出在网络训练中加一些先验知识，但是不同的相机模型得到的图像数据数据分布并不完全一样且先验知识难以提取，如何构建一个通用的方法提升已经提出的超分辨模型对真实世界退化图像的重建能力已经成为目前重要的课题。

发明内容

本发明的目的在于针对现有技术的不足，解决背景技术中存在的问题，提供一种通用的真实世界单帧图像超分辨增强方法。通过建立一种通用的增强方法提升超分辨网络在真实世界的性能，可以对真实世界退化图像进行超分辨处理，生成结构清晰、视觉质量良好的高分辨图像。增强方法主要包括三部分：一、建立频域数据增强方法；二、建立加强退化图像振铃效应方法；三、超分辨网络训练过程中加入动态调整权重频域Loss。

本发明的目的是通过以下技术方案来实现的：

本发明所述的低分辨和高分辨是指低分辨图像相比高分辨图像的分辨率更低的相对关系。

本发明包括以下步骤：

S1：利用频域数据增强方法对真实世界退化图像和对应的高分辨图像进行数据增强处理，获得增强图像集；

S2：利用增强退化图像振铃效应方法对增强图像集再进行数据增强后，获得输入图像集，由输入图像集和对应高分辨图像构成训练集；

S3：将训练集输入到超分辨网络进行训练，获得训练好的超分辨网络；

S4：将待重建的真实世界退化图像输入到训练好的超分辨网络中进行预测，获得重建的高分辨图像。

所述S1具体为：

S1.1：随机选取50％的真实世界退化图像和对应的高分辨图像进行数据增强，具体地：首先利用插值函数Resize函数对50％的真实世界退化图像和对应的高分辨图像中的真实世界退化图像进行缩放，使得真实世界退化图像的图像大小和对应的高分辨图像的图像大小保持一致，获得缩放后的真实世界退化图像；然后利用快速傅里叶变换分别对缩放后的真实世界退化图像和对应的高分辨图像进行处理，分别获得频域退化图像F_LR和频域高分辨图像F_HR；