[发明专利]一种基于深度先验的盲图像超分辨率方法

说明书

本发明公开了一种基于深度先验的盲图像超分辨率方法，使用深度卷积神经网络DIP‑Net并结合非局部注意力估计高分辨率图像；通过求解关于模糊核最优化问题的精确解估计模糊核；交替迭代更新模糊核与高分辨率图像，利用估计模糊核生成低分辨率图像的降采样图像，结合低分辨率图像利用损失更新网络参数。对模糊核和高分辨率图像联合建模，采用网络模型与数学模型结合的方式同时估计模糊核与高分辨率图像；结合非局部注意力模块显式地利用图像的自相似性，为重建图像提供潜在的附加信息；仅利用单幅低分辨率图像作为监督信号实现了端到端的盲图像超分辨率重建，无需数据集的训练过程。本发明能够准确地估计模糊核，有效重建高分辨率图像的边缘与细节。

技术领域

本发明涉及图像超分辨率领域，更具体地说，涉及一种基于深度先验的盲图像超分辨率方法。

背景技术

在视频监控、手机摄像、医学成像、遥感成像和视频捕获等图像获取过程中，由于成像机理、成像环境或成像设备的限制，通常无法获取高分辨率图像。高分辨率的图像能够提供更多的细节信息，有利于图像判读等分析与理解任务。从硬件质量方面提高获取图像的分辨率存在成本以及工艺等问题，在无法改变硬件条件的前提下，图像超分辨率方法通过图像处理的手段，突破传感器固有采样频率的限制，实现低分辨率图像在空间分辨率或截止频率上的拓展，达到提升图像空间分辨率的目的。单幅图像超分辨率仅利用单幅低分辨率图像重建高分辨率图像，恢复降采样过程中损失的高频成分，提高图像的有效分辨率。

成像设备获取图像的过程可以看作由高分辨率图像到低分辨率图像的降质过程，图像超分辨率重建则是该降质过程的逆过程，即通过低分辨率观测图像重建高分辨率图像的过程，这是一个病态逆问题，解不惟一，因此需要图像先验约束可行解的空间。传统先验通常是对自然图像的统计特性进行数学建模，而深度先验是指通过深度卷积神经网络学习或表示图像的先验信息。数学表达式很难显示地建模复杂的图像先验，通过深度卷积神经网络可以利用深层网络隐式地学习数据间的映射关系，并且可以灵活地作为正则化方法的子模块。深度先验可以分为显式和隐式建模图像先验两类。一类方法需要使用数据集对网络进行训练，学习图像某种潜在的先验信息；另一类是利用网络结构实现图像的先验约束，无需监督训练。

图像超分辨率方法根据模糊核是否已知可分为非盲超分辨率与盲超分辨率方法。当模糊核已知时为非盲图像超分辨率方法，模糊核未知时为盲图像超分辨率方法。非盲图像超分辨率方法通常假设模糊核为高斯函数或双三次插值函数。由于真实场景中的模糊核是复杂的，当真实模糊核与假设模糊核之间存在较大差异时，无法保证重建效果。盲图像超分辨率方法利用低分辨率图像中潜在信息估计降质过程中的真实模糊核，并重建高分辨率图像。

尽管深度学习在图像超分辨率中的研究取得了显著的进展，然而现有的大多数基于深度学习的图像超分辨率方法是非盲的，盲图像超分辨率研究工作不多。基于深度学习的图像超分辨率方法根据是否需要训练数据集分为监督学习的方法与非监督学习的方法。监督学习的方法通过预定义的降质过程构建高低分辨率图像数据集，使用数据集训练网络。自监督学习是图像超分辨率问题中一种常用的非监督学习方法，以低分辨率图像作为监督信号，利用图像本身发掘附加信息进行图像重建，无需高分辨率图像或模糊核的真值训练网络。DRN需要成对的模拟图像数据集和非成对的真实图像数据集训练网络，包括参数量较小的DRNS和参数量较大的DRNL两种网络结构。SRGAN在生成式对抗网络中引入内容损失函数训练网络，内容损失定义为高分辨率重建图像的特征与真值图像特征之间的欧氏距离，其作用是重建图像的高频内容，提高重建图像的视觉效果。DRN与SRGAN都是监督学习的非盲图像超分辨率方法。ZSSR根据图像的自相似性，使用假设或估计的模糊核对低分辨率图像本身构建图像金字塔，利用多层低分辨率图像与其降采样图像构成的高低分辨率图像对训练网络参数。ZSSR虽然在重建过程中将模糊核信息引入图像重建过程中，但是并未对模糊核进行估计，严格意义上并不属于盲图像超分辨率方法。