[发明专利]一种基于扩散模型的单帧图像超分辨处理方法

说明书

本发明公开了一种基于扩散模型的单帧图像超分辨处理方法。方法建立超分辨扩散模型的扩散过程和条件噪声预测器；将高低分辨图像数据集输入到超分辨扩散模型的条件噪声预测器，利用超分辨扩散模型的扩散过程对条件噪声预测器进行训练，获得预训练后的条件噪声预测器；待处理的低分辨图像输入到超分辨扩散模型的逆过程中，获得残差预测图像；残差预测图像与经过上采样操作的低分辨图像相加，得到预测的超分辨图像。本发明对同一张低分辨图像生成具有一致特征的多张超分辨图像，每张超分辨图像具有丰富的纹理和自然性，避免了过平滑问题、模式崩塌问题，在较少时间开销下提高了重建性能。

技术领域

本发明属于图像处理技术、计算机视觉、深度学习领域的一种图像处理方法，尤其涉及图像超分辨技术领域的一种基于扩散模型的单帧图像超分辨处理方法。

背景技术

单帧图像超分辨任务在计算机视觉领域有广泛的应用，如目标识别、多媒体技术、航空航天成像等。单帧图像超分辨任务旨在从低分辨图像中恢复高分辨图像，这是一个病态的问题，因为多个高分辨图像可以退化为同一张低分辨图像。

为了建立高分辨图像和低分辨图像之间的映射，近年来出现了许多基于神经网络的方法，这些方法可分为三种主要类型：面向PSNR前馈超分辨神经网络的方法、基于对抗生成网络(GAN)的方法和基于流(Flow)的方法。然而，面向PSNR的前馈超分辨神经网络方法得到的是多个超分辨潜在解的平均，导致超分辨图像过于平滑；基于GAN的方法容易带来“模式坍塌”，导致生成的超分辨图像趋近于同一解；基于流的方法需要极大的模型参数和计算开销。如何对同一张低分辨图像生成与其一致的多个高质量的高分辨图像同时避免较大的计算开销是现有技术中并没有解决和实现的。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于扩散模型的单帧图像超分辨处理方法，可对同一张低分辨图像，生成与其一致特征的多张高分辨图像。

本发明的目的是通过以下技术方案来实现的：

1)建立超分辨扩散模型的扩散过程和条件噪声预测器ε_θ；

2)将已知的高低分辨图像数据集输入到超分辨扩散模型的条件噪声预测器ε_θ，其中I_H为高分辨图像，I_L为其对应的低分辨图像，k表示高低分辨图像对的序号，K为高低分辨图像数据集P中高低分辨图像对的总数；利用超分辨扩散模型的扩散过程对条件噪声预测器ε_θ进行训练，获得预训练后的条件噪声预测器ε_θ；

3)由建立超分辨扩散模型的扩散过程反向作为超分辨扩散模型的逆过程，待处理的低分辨图像输入到超分辨扩散模型的逆过程中，获得残差预测图像即待处理的低分辨图像对应的高分辨图像。

4)残差预测图像与经过上采样操作的低分辨图像up(I_L)相加，得到预测的超分辨图像I_SR，其中up()为上采样操作，I_L为原始待处理的低分辨图像。

高低分辨图像数据集是由很多已知的高低分辨图像对构成，每一对高低分辨图像主要是由高分辨图像I_H及其对应的低分辨图像up(I_L)组成，高低分辨图像对高分辨图像对应的低分辨图像是与高分辨图像在同一场景下或者针对同一目标所采集的分辨率不同的图像，可以是由高分辨图像进行分辨率压缩处理获得或者采用不同设备的拍摄获得；高分辨图像的分辨率较高，低分辨图像的分辨率较低。