[发明专利]一种用于获取盲超分辨率图像的方法、设备及存储介质

说明书

本公开涉及一种用于获取盲超分辨率图像的方法、设备及存储介质。该方法包括估计自然图像退化过程中的图像退化模型参数，其中所述图像退化模型参数包括卷积核池和噪声池；根据所述图像退化模型参数建立低分辨率‑高分辨率的配对图像数据集；利用所述配对图像数据集来训练和优化图像生成器；以及基于所述配对图像数据集和所述图像生成器来训练和优化图像判别器，以获得盲超分辨率图像。本公开通过自然图像的退化模型来估计模型参数，以便建立配对数据集，进而用于训练和优化图像生成器和判别器，从而能够获得盲超分辨率图像，极大地提高了超分辨率图像的质量。

技术领域

本公开一般地涉及图像处理技术领域。更具体地，本公开涉及一种用于获取盲超分辨率图像的方法、设备及计算机可读存储介质。

背景技术

本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述可包括可以探究的概念，但不一定是之前已经想到或者已经探究的概念。因此，除非在此指出，否则在本部分中描述的内容对于本申请的说明书和权利要求书而言不是现有技术，并且并不因为包括在本部分中就承认是现有技术。

随着信息化技术的发展，人们对数字图像质量的要求也越来越高，特别是在医学、自动驾驶、天文以及监控等计算机视觉领域中，都需要获得高分辨率的、细节丰富的高清图像。然而，在实际图像采集时，往往受到成像系统自身的空间分辨率、光线或射线强度、空间距离以及系统噪声等因素的影响，而导致获得的图像的空间分辨率不高。传统的提高图像的分辨率的方式通常是基于系统硬件设备或者软件算法来设计，并且基于系统硬件设备来提高图像分辨率是较为直接的方式，但该方式成本高且实现难度较大。此外，系统硬件设备还易受到电磁波物理和元器件物理的特性限制，从而使得提高的空间分辨率受限。

单图像超分辨率(Single Image Super Resolution，“SISR”)重建技术主要基于软件算法层面的设计，其可以实现从低分辨率(“LR”)观测图像到高分辨率(“HR”)观测图像的提升。近来，由于深层卷积神经网络在处理具备欧式结构的图像数据上表现出强大的功能，因此许多基于卷积神经网络超分辨技术都从某些特定的角度解决了单图超分辨率分析的任务。然而，这些方法通常是通过先验信息的设计，以寻找细节恢复和噪音抑制之间的平衡，由此往往会导致高频细节信息的丢失。另外，还有很多方法是基于双三次下采样得到HR-LR图像并利用其进行训练，因此在面对由于距离、电磁波信号强度、系统噪声时导致的自然图像降质的问题时，该图像退化过程与这些自然降质过程不相符，而导致超分辨模型的性能受限。

发明内容

为了至少解决上述问题，本公开提出了一种用于获取盲超分辨率图像的方案，即通过估计自然图像的退化模型参数，以便基于模型参数获得配对图像数据集，从而可以训练和优化图像生成器和判别器，获取高质量的盲超分辨率图像。鉴于此，本公开在如下的多个方面提供相应的解决方案。

在第一方面中，本公开提供一种用于获取盲超分辨率图像的方法，包括：估计自然图像退化过程中的图像退化模型参数，其中所述图像退化模型参数包括卷积核池和噪声池；根据所述图像退化模型参数建立低分辨率-高分辨率的配对图像数据集；利用所述配对图像数据集来训练和优化图像生成器；以及基于所述配对图像数据集和所述图像生成器来训练和优化图像判别器，以获得盲超分辨率图像。

在一个实施例中，估计自然图像退化过程中的图像退化模型参数包括：构建所述自然图像中由高分辨率图像到低分辨率图像退化的图像退化模型；利用线性卷积网络学习所述图像退化模型中的每个所述自然图像的模糊核，以估计模糊核池；以及根据相对方差选择和子块划分来提取所述图像退化模型中的所述自然图像的噪声分布，以估计噪声池。

在另一个实施例中，建立低分辨率-高分辨率的配对图像数据集包括：根据随机原则分别从所述模糊核池和所述噪声池中随机抽样，以获得目标模糊核和目标噪声块；以及基于所述目标模糊核、所述目标噪声块以及所述图像退化模型来针对已知高分辨率图像进行降质过程的模拟，以建立与其配对的低分辨率图像。