[发明专利]一种基于深度学习的联级超分辨率重建的方法及装置

说明书

本发明的实施例提供了一种基于深度学习的联级超分辨率重建的方法及装置，通过预先训练得到的超分辨率重建模型对初始图片进行超分辨率重建，得到分辨率提高了目标倍数的目标图片。超分辨率重建模型由初始构建模型进行机器学习得到，初始构建模型采用多个联级组，每一联级组包括串联的卷积层组成的卷积层结构和并联的反卷积层组成的平行反卷积层结构。初始构建模型的这种设计增强了高低频细节特征提取能力，提高了重建效果。平行反卷积层结构中包括多个并联的反卷积层，使得训练出的模型能够将初始图片的分辨率进行不同倍数的提高，扩大了模型的应用场景，提高了适用性。

技术领域

本发明实施例涉及图像处理技术领域，尤其是涉及一种基于深度学习的联级超分辨率重建的方法及装置。

背景技术

图像超分辨率重建技术(Super-Resolution)是一项重要的数字图像处理技术，利用一幅或多幅低分辨率图像(或运动序列)，通过相应的算法，重建出一幅高分辨率、高信息含量的图像。该技术突破了图像传感器自身的分辨率限制，可以在不改变或提升图像采集硬件的前提下，提高图像的分辨率，改善图像质量。处理结果有利于地表目视解译、图像目标算法识别、地物类型分析、定量反演精度的提升，提高遥感影像的信息表达能力和利用价值。应用中，通过光学目标的超分辨率重建技术，能对地面目标识别、类型和数量判读以及目标自动检测应用提供技术支撑。光学目标超分重建技术的实现方法有多种，如基于频率域的或基于空间域的实现，也有基于单帧或多帧的实现。

目前基于深度学习的超分重建方法也存在很多的研究，如ESPCN、SRCNN、SRGAN、VDSR、FSRCNN等基于卷积神经网络技术实现的图像超分重建，提升图像目标的空间分辨率。在基于深度学习的众多图像超分重建方法中都存在各自的特点和缺点，但总的来说模型训练和重建速度以及处理精度有待进一步提升，现有的模型中难以在训练收敛时间和处理效果上达到较好的平衡，缺乏高效、轻量的超分重建模型。在实时的超分重建任务中，难以具备有效的应用价值。

在实现本发明实施例的过程中，发明人发现现有的进行超分辨重建的模型结构单一、重建效果较差，且往往只能进行特定倍数的分辨率重建，应用适用性较低。

发明内容

本发明所要解决的技术问题是如何解决现有的进行超分辨重建的模型结构单一、重建效果较差，且往往只能进行特定倍数的分辨率重建，应用适用性较低的问题。

针对以上技术问题，本发明的实施例提供了一种基于深度学习的联级超分辨率重建的方法，包括：

获取欲进行超分辨率重建的初始图片和欲将所述初始图片的分辨率提高的目标倍数；

将所述初始图片输入到预先训练的超分辨率重建模型中，获取由所述超分辨率重建模型输出的与所述目标倍数匹配的目标图片，输出所述目标图片；

其中，所述超分辨率重建模型由初始构建模型通过机器学习训练得到；所述初始构建模型包括依次连接的至少两个联级组，前一联级组的输出作为后一联级组的输入；每一联级组内均包括卷积层结构和平行反卷积层结构，卷积层结构的输出作为平行反卷积层结构的输入，平行反卷积层结构中包括至少两个并联的反卷积层。

本发明的实施例提供了一种基于深度学习的联级超分辨率重建的装置，包括：

获取模块，用于获取欲进行超分辨率重建的初始图片和欲将所述初始图片的分辨率提高的目标倍数；

处理模块，用于将所述初始图片输入到预先训练的超分辨率重建模型中，获取由所述超分辨率重建模型输出的与所述目标倍数匹配的目标图片，输出所述目标图片；

其中，所述超分辨率重建模型由初始构建模型通过机器学习训练得到；所述初始构建模型包括依次连接的至少两个联级组，前一联级组的输出作为后一联级组的输入；每一联级组内均包括卷积层结构和平行反卷积层结构，卷积层结构的输出作为平行反卷积层结构的输入，平行反卷积层结构中包括至少两个并联的反卷积层。