[发明专利]一种任意比率图像超分辨率方法、系统、设备及存储介质

说明书

本发明公开了一种任意比率图像超分辨率方法。包括：搭建生成器，包括其中的特征提取模块与Meta‑Upscale上采样结构；搭建相对平均判别器；将训练数据集中的低分辨率图像输入生成器中，得到生成的超分辨率图像，利用损失函数反向更新生成器和相对平均判别器；训练完成后将待处理的低分辨率图像输入生成器中，得到重建后的超分辨率图像。本发明还公开了一种任意比率图像超分辨率系统、计算机设备及计算机可读存储介质。本发明通过一系列与放大比率和坐标相关的向量，可动态地预测不同数量的卷积滤波器的权重，从而实现图像的任意比率(包括非整数)上采样操作，而损失函数的构造弥补了像素损失导致重建后图像过于平滑的缺陷，得到更多的纹理等细节信息。

技术领域

本发明涉及图像处理技术领域，具体涉及一种任意比率图像超分辨率方法、任意比率图像超分辨率系统、计算机设备及计算机可读存储介质。

背景技术

近年来，随着视觉传感器性能的大幅提升，视觉数据量大幅增加。然而，通过视觉传感器获得的图像在传输过程中常常受到噪声、降采样等因素的影响，使得图像的质量下降，分辨率降低，原始场景中的一些细节也会因此而损失。面对大量的视觉数据，人们对于高分辨率的图像和视频要求越来越高。

超分辨率技术是图像处理和计算机视觉的一项重要课题。它是指将一副或多幅低分辨率图像作为输入，构造其没有的细节从而获取高分辨率图像的方法。图像的超分辨率技术可以应用于多个领域，比如监控视频缩放、医学图像恢复重建、恢复低清卫星图像细节和低分辨率文字图像复原等。

随着深度学习的流行，人们也成功的将其应用在图像超分辨率方法当中，并取得出色效果。基于深度学习的超分辨率方法的操纵过程如下，首先要将低分辨率图像作为输入，然后再利用训练好的网络结构进行重建，最后输出高分辨率图像。近几年来，深度学习在超分辨率重建方面得到广泛应用和发展，模型结构变得更加简约并且重建图像质量更加优秀，极大地推动了该领域技术的进步。

目前的现有技术之一是Wang等的《Esrgan：Enhanced super-resolutiongenerative adversarial networks》以及Ledig等的《Photo-realistic single imagesuper-resolution using a generative adversarial network》所提出的基于生成对抗网络的图像超分辨率方法，方法思路都是：1)利用残差网络组成的残差块再将多个残差块用密集连接的方式连接在一起，构建生成器；判别器采用相对平均判别器(Relativisticaverage Discriminator,RaD)；2)设计总损失函数，其中包含感知损失和对抗损失，利用构建好的损失函数对模型进行对抗训练，得到训练好的模型；3)最后，将低分辨率图像输入训练好的生成器中，输出的结果就是超分辨率重建后的图像。这类方法的缺点是：其所使用的上采样模块无法实现对低分辨率图像的任意比率放大，仅适用于整数放大比率；对于不同的放大比率，这类方法必须专门设计对应的放大模块，即针对不同的放大比率必须训练不同的模型。