[发明专利]一种基于高低频信息分解的图像超分辨率重建方法

说明书

本发明公开了一种基于高低频信息分解的图像超分辨率重建方法，包括以下步骤：对超分辨率数据集做数据预处理，得到训练神经网络所需的LR‑HR图像块对；将HR图像块G进行高低频信息分解；构建卷积神经网络模型；利用前述步骤生成的训练样本数据对构建的卷积神经网络模型进行训练，得到优化后的卷积神经网络模型；利用优化后的卷积神经网络模型，输入LR图像，生成对应的HR图像。本发明设计了优化的神经网络结构，有效生成HR图像的低频和高频信息，更好地重建高分辨率的图像。

技术领域

本发明涉及图像处理技术领域，特别是一种基于高低频信息分解的图像超分辨率重建方法。

背景技术

图像的超分辨率问题(Super-Resolution)是计算机视觉中的一类重要问题，是指从一张或多张低分辨率(Low-Resolution，LR)图像中，重构出相应的高分辨率(High-Resolution，HR)图像。主要分为两类，一是从单张低分辨率图像中重建出高分辨率图像，二是从多张低分辨率图像中重建出高分辨率图像。超分辨率问题的核心是如何利用低分辨率图像的内部相关信息来生成图像的高频细节信息。

目前，深度学习在计算机领域中表现出巨大潜力，基于神经网络学习的方法可以自动的从大量数据中学习特征提取方法，而且由于深度模型极高的复杂度，使得它可以建立由低分辨率图像到复杂特征再到高分辨率图像的非线性变换，充分利用有限信息来直接进行从低分辨图像到高分辨图像的端到端学习，带来了更好的性能和表现，在图像超分辨问题中成为主流。

近些年的图像超分辨率网络主要分为两种：一种是只有局部的跳过连接(SkipConnection)，即只在上采样网络前进行跳过连接。EDSR、SRDenseNet、RCAN等图像超分辨率网络都采用这类结构；另一种是有全局的SkipConnection，即只通过神经网络来生成HR图像中的细节信息，而HR图像的结构信息则通过直接地双三次插值放大获得。IDN、WDSR等图像超分辨率网络都采用这类结构。因为人眼对图像质量的感知结果主要表现在细节信息上，而后者可以利用同等规模的网络来更好地学习细节信息表征，因此，后者在理论和直观上都具有更好的性能。

随着信息技术的发展，低分辨率图像已经难以满足人们对于高清影像的需求。高分辨率图像的像素密度高，细节清晰，信息丰富，因而能够满足图像分析，图像理解的实际应用需求。图像分辨率的提升有助于图像细节的观察和分析，从而为后续的图像处理如目标检测，图像分割等提供更多有用的信息，高分辨率图像的获取是后续图像处理取得良好效果的重要保障。

超分辨技术从出现以来，大致经历了插值、重建、学习三个阶段的发展过程。其中插值的方法出现的最早，其假设图像具有连续的灰度值，待插像素的灰度值可以根据邻域像素估计得到。在实际应用中获取的图像往往不符合这种假设，因而重建出的图像容易出现锯齿、模糊等现象。其更多的是作为一种上采样的策略，很多时候会作为后两种方法的一个预处理工作被使用。而基于重建的方法通常需要将同一场景的多幅图像进行信息融合，主要包括配准、插值、重构3个步骤。目前主要有正则化方法，凸集投影法(POCS)和迭代反投影法(IBP)等算法。这一类算法之间的区别主要在于重构部分，严重依赖高分辨率图像的先验知识，性能表现波动很大。当放大倍数较高时，图像重建质量会迅速下滑，导致图像细节严重丢失。基于学习的算法，即通过机器学习的算法对从低分辨率图像到高分辨率图像的转化过程进行建模，可以实现单幅图像的超分辨率重建。相较于其他两类方法，基于学习的方法可以更好地表达和利用图像的先验知识，具有更突出的性能，恢复出的图像具有更优秀的视觉效果，是目前的研究热点之一。