[发明专利]一种分层图像超分辨率方法、系统、计算机设备及应用

说明书

本发明属于图像处理技术领域，公开了一种分层图像超分辨率方法、系统、计算机设备及应用，使用图像数据集DIV2K作为训练集，基于引导滤波器对训练样本进行分层；设计两个深度残差卷积网络DLRCN和DGRCN，分别用于细节图像的训练和平滑图像的训练；分别用细节图像样本训练集对深度局部残差卷积网DLRCN进行训练，用平滑图像样本训练集对深度全局残差卷积网DGRCN进行训练；分别用细节图像测试样本集对深度局部残差卷积网DLRCN进行训练，用平滑图像测试样本集对深度全局残差卷积网DGRCN进行训练，验证所提模型的准确性和可靠性。本发明分别对细节层和平滑层进行超分辨率和融合，提高了图像分辨率和增强细节。

技术领域

本发明属于图像处理技术领域，尤其涉及一种分层图像超分辨率方法、系 统、计算机设备及应用。

背景技术

目前，医学图像、遥感图像、天文图像、SRA雷达图像、军用夜视图像等 不同领域的图像，在成像和传输过程中都会受到设备本身和外界信号的干扰， 造成图像伴有大量的噪声，导致图像细节淹没在噪声中，或者使得图像分辨率 降低，严重影响图像质量，使得后续的图像分割、图像识别等图像处理任务不 能顺利进行。图像超分辨重建技术就是一种在不改变现有硬件成像设备及工艺 水平条件下，利用软件处理的方法对同一场景的低分辨率图像进行处理得到高 分辨率图像的技术。该技术可以经济、高效地提高图像的分辨率和视觉质量， 已成为图像处理领域的研究热点。

近些年来，基于深度学习的图像超分辨率技术得到了学界广泛的研究。香 港中文大学的Dong等首次将卷积神经网络引入图像超分辨率，构建了SRCNN 网络模型，该网络仅由三层构成，分为特征提取层，非线性映射层以及重构层。 该模型虽然取得了优于传统算法的效果，但存在收敛速度慢、不同放大倍数需 要重新进行训练。针对SRCNN模型存在的问题，Dong等对其进行改进，提出 Fast-SRCNN(FSRCNN)模型，FSRCNN首先引入解卷积层，减少了计算量和输 入误差，且能够通过改变解卷积层实现不同倍率的放大；同时采用收缩策略， 降低特征维度，采用小卷积核和加深网络，减少计算量，FSRCNN比SRCNN 提高了近40倍训练速度并且重构效果更优。Luo等通过改进SRCNN网络模型， 对卫星视频序列进行超分辨率重构，并取得了良好的效果。Ducournau等使用中 间层参数微调后的SRCNN网络模型对卫星获取的海表面温度(Sea Surface Temperature，SST)图进行超分辨率重构，以便用于后续数据处理。Shi等提出了 一种基于像素重排的ESPCN网络模型，该模型的核心为亚像素卷积，将通过卷 积后得到的亚像素特征(Feature Maps)进行排列，以填充原始低分辨率图像缺失 的亚像素信息。首尔国立大学计算机视觉实验室的Kim等首先将残差学习的思 想引入图像超分辨率重建方法中，采用的小卷积核构建了网络层数达20层的 VDSR模型，通过增大感受野来学习图像上下文的关联信息。加州大学默赛德分 校的Lai等提出了一种采用金字塔结构进行单张图片超分辨率重构的LapSRN模 型，该模型能够逐步重构不同放大尺度的高分辨率图片，不仅能够完成2和4 倍数的超分辨率重构，而且在8放大因子取得了较满意的效果。现有基于深度 学习的图像超分辨率方法，是用低分辨率和高分辨率图像样本对直接训练网络 模型，导致最终超分辨率结果图像的边缘比较平滑而不锐利、图像细节较模糊 等。

通过上述分析，现有技术存在的问题及缺陷为：现有基于深度学习的图像 超分辨率方法，是用低分辨率和高分辨率图像样本对直接训练网络模型，导致 最终超分辨率结果图像的边缘比较平滑而不锐利、图像细节较模糊。解决此问 题的关键是要能精确提取图像的细节，通过对图像细节层的训练恢复出图像丢 失的细节，从而使得后续的图像分割、图像识别等图像处理任务能顺利进行。

发明内容

针对现有技术存在的问题，本发明提供了一种分层图像超分辨率方法、系 统、计算机设备及应用。

本发明是这样实现的，一种分层图像超分辨率方法，所述分层图像超分辨 率方法包括：