[发明专利]一种基于双尺度卷积神经网络的超分辨放大方法

说明书

本发明公开了一种基于双尺度卷积神经网络的超分辨放大方法，具体按照以下步骤实施：步骤1，预处理原始图像数据集；步骤2，将步骤1获得的低分辨率图像数据集中的每一幅低分辨率图像输入到特征学习模块提取特征图，步骤3，将步骤2中获得的特征图输入到放大模块进行训练得到放大的图像，步骤4，将步骤3获得的小尺度链和大尺度链特征图进行融合，经过数次训练后生成超分辨放大网络模型；步骤5，设置超分辨放大网络模型的参数，完成图像超分辨放大。解决了现有图像超分辨方法中忽略了非整数因子超分辨放大的问题。

技术领域

本发明属于数字图像处理方法技术领域，涉及一种基于双尺度卷积神经网络的超分辨放大方法。

背景技术

图像超分辨在各种计算机视觉任务中有着广泛的应用，如医学成像、监控成像、以及卫星成像。超分辨是研究图像从低分辨率图像块到高分辨率图像块的映射，而超分辨放大是图像超分辨领域的一个重要环节，我们关注的是超分辨的放大问题。随着深度学习技术的发展，许多研究者提出了一些基于学习的超分辨放大方法。这些超分辨放大方法有如下三类：基于插值的放大方法、基于亚像素卷积的放大方法和基于反卷积的放大方法。

基于插值的放大方法需要将原始低分辨率图像插值到所需的大小，然后再将其输入网络，因此它未能建立从原始低分辨率图像到高分辨率图像端到端的映射。插值图像在大尺度下会丢失大量细节，增加了计算复杂度；基于亚像素卷积的放大方法直接从低分辨率图像中学习特征，并在网络的末端使用滤波器放大特征映射，但是它只能对整数因子进行放大；基于反卷积的放大方法是先直接学习低分辨率图像块的特征，然后通过使用一组反卷积核来放大特征映射。由于原始低分辨率图像被分割成许多非常小的块，所以它需要存储大量的参数来学习图像的细节特征。

发明内容

本发明的目的是提供一种基于双尺度卷积神经网络的超分辨放大方法，解决了现有图像超分辨方法中忽略了非整数因子超分辨放大的问题。

本发明所采用的技术方案是，一种基于双尺度卷积神经网络的超分辨放大方法，具体按照以下步骤实施：

步骤1，预处理原始图像数据集，对原始图像数据集中的每一幅图像进行下采样得到低分辨率图像数据集；

步骤2，将步骤1获得的低分辨率图像数据集中的每一幅低分辨率图像输入到特征学习模块提取特征图，其中，特征学习模块包含特征嵌入模块、残差模块和重构模块三部分；

步骤3，将步骤2中获得的特征图输入到放大模块进行训练得到放大的图像，其中，放大模块包含小尺度链和大尺度链两部分；

步骤4，将步骤3获得的小尺度链和大尺度链特征图进行融合，并且将大尺度链的输入F_BI通过残差学习与融合后的特征图FM_ms进行连接，然后将连接后的全局特征图FM_gf输入逐像素损失函数中，不断地迭代使损失函数最小化，经过数次训练后生成超分辨放大网络模型；

步骤5，设置超分辨放大网络模型的参数，将测试数据集中的图像输入到该模型中，进行任意尺度因子超分辨测试，完成图像超分辨放大。

本发明的特点还在于：

步骤2具体按照以下步骤实施：

步骤2.1，将步骤1中获得的低分辨率图像输入到特征嵌入模块，实现从图像空间映射到特征空间，生成特征映射。特征嵌入模块使用3×3卷积核和使用ReLU作为激活函数，每层卷积使用64个卷积核生成64个特征映射；

步骤2.2，将步骤2.1中得到的特征映射输入到残差模块，得到多通道特征映射的特征图；残差模块包含多个依次连接的残差块，每个块包含残差分支和恒等映射两个分支，每个残差块定义如公式(1)所示；

R^u＝F(R^u-1)+R^u-1 (1)