[发明专利]一种多帧图像超分辨率重建方法

说明书

本发明公开了一种多帧图像超分辨率重建方法，将导控核回归方法分别引入到自适应稀疏学习模型的聚类阶段和正则化重建过程中，使两种方法优劣互补，形成性能更好的重建算法。本发明不需要运动配准，因而不存在配准误差引起的重建误差，能明显改善重建图像质量，同时能应用于包含任意运动模式的情况。相比现有的基于学习的多帧超分辨率重建方法，提供了一种融合导控核回归和稀疏学习两种方法的简洁高效一体化重建模型，能同时利用全局的结构自相似性先验约束、以及稀疏性约束进行回归估计，因而能更好地保持图像边缘细节、减小图像高频失真，同时运动幅度不受限制，应用场景不受限制，从而能适应于复杂的应用环境。

技术领域

本发明属于图像处理技术领域，涉及一种多帧图像超分辨率重建方法，特别涉及一种基于结构聚类和导控核回归正则化稀疏学习的多帧图像超分辨率重建方法。

背景技术

分辨率是评价图像质量的重要指标之一，较高分辨率的图像，意味着能提供更丰富的细节信息，具有更好的视觉效果和图像质量。但在现实中，由于成像系统硬件条件的限制、再加上噪声、聚焦偏离等因素的影响，我们获得的图像往往分辨率低下、不能满足实际应用需求，且存在噪声、模糊等现象。图像超分辨率重建，能利用现有的设备，采用信号处理技术，通过软件手段突破成像系统固有的分辨率限制，由低分辨率图像，重建出具有较高分辨率的图像，达到改善图像质量和视觉效果的目的，在遥感、消费电子、生物医学、视频监控、机器视觉、军事等领域具有广阔的应用前景。

与单幅图像超分辨率重建不同的是，多帧超分辨率重建的处理对象是具有相似背景的多幅低分辨率图像或视频帧，所以各帧间冗余信息的利用和融合是多帧超分辨率重建的关键，其重建效果也因此能超越单幅图像超分辨率重建。

现有的多帧超分辨率重建方法多数属于传统的方法，一般包括图像配准(或运动估计)与融合重建两个主要步骤，通过图像配准(或运动估计)实现对不同帧之间相关信息的挖掘，以便后续的融合重建。因此，运动配准是传统多帧超分辨率方法的必经步骤。但运动配准往往计算量庞大，而且必然带来误差，配准误差会转化为重建误差，制约重建图像质量，特别当图像质量较低时，配准误差大，重建效果很差。另一方面，现有的配准方法假定帧间变换为某一类运动模式，即假定一定的空间变换模型，而实际的视频序列图像可能包含任意运动模式。

中国发明专利《一种多帧超分辨图像重建方法及系统》(201610491560.0)包括使用SIFT特征进行图像配准，属于传统的多帧超分辨率方法，其不足之处是：SIFT特征配准只能处理目标在不同帧间为仿射变换(平移+旋转+缩放)的情况，不能应用于包含平移、旋转、缩放三种变换关系以外的情况，应用场景受到限制；且配准必然存在误差，会给后续重建带来误差，引起重建图像失真。中国发明专利《一种多帧图像超分辨率重建方法及其重建系统》(201610049469.3)包括使用根据几何变换获得的临时结果和根据模糊核获得的滤波器传递函数构造用于超分辨率重建的能量函数，采用图割算法进行极小化求解，即可得到最终的高分辨率图像，使重建效果和重建速度均得到改善，其不足之处是：该方法假定了不同帧间存在几何变换关系，需要通过配准获知变换关系，配准误差会限制重建图像质量，而且应用场景受限。中国发明专利《一种视频图像超分辨率重建方法》(201310433123.X)属于传统的多帧超分辨率方法，其缺点同样是需要运动估计(即配准)。中国发明专利《一种基于联合正则化的视频超分辨率重建方法》(201610567213.1)以基于空间信息滤波与分类的加权系数减少了配准误差带来的消极影响，但本质上仍没有改变重建对配准的依赖。

现有的一些基于学习的多帧超分辨率重建算法，利用自然图像的自相似冗余信息、或者稀疏性约束，通过寻求有效的样本或字典、及基于该样本或字典的表示，实现对未知图像的重建。该类方法不需要图像配准(或运动估计)，克服了传统方法对运动配准的依赖，运动模式不受限制，能应用于包含任意运动模式的场景。