[发明专利]一种基于多模态空间滤波的图像超分算法

说明书

本发明公开了一种基于多模态空间滤波的残差神经网络模型，所述基于多模态空间滤波的残差神经网络模型包括频率信息获取、特征提取网络和亚像素重建；本发明在保证低频结构信息不丢失的基础上，使图像的纹理细节信息得到很好的重构。

技术领域

本发明涉及图像超分算法领域，具体为一种基于多模态空间滤波的图像超分算法。

背景技术

目前手机和数码相机等移动设备的日益普及，越来越多的人习惯用照片来记录生活的点滴。但由于设备的硬件限制，拍摄的图像往往具有分辨率低和动态范围低的特点。

由于图像分辨率作为图像领域的经典问题在近年来受到越来越多的关注，图像的分辨率决定着图像所包含的信息量的多少，因此，提高图像分辨率对于信息存储和利用具有十分重要的意义。同时图像超分辨率重建主要是采用软件的方法来对图像分辨率进行提升，而不需要花费昂贵的费用去完成硬件的提升，降低了研究成本，拓宽了应用领域，在医学、遥感以及公共安全等领域都有广泛的应用前景。传统的基于深度学习的方法在对低分辨率图像进行重建过程中，并未将图像中的低频结构信息和高频细节信息进行区别处理，网络的层与层之间缺乏信息交流，图像特征也只是通过单一卷积核获得，且对于图像特征采用均等处理的方式，特征利用率严重不足，从而造成高分辨率图像重建结果中出现信息缺失。

发明内容

本发明提供一种基于多模态空间滤波的图像超分算法，通过将空间滤波变换与残差密集网络相结合的方式，大大增加网络稀疏性，充分挖掘图像特征信息并提高模型的表征能力。通过加入多尺度特征融合模块，使得该算法在学习过程中获得特征图的多种特征，增加网络的非线性表达能力，实现对低分辨率图像信息的深层挖掘。最后，基于上采样过程采用亚像素卷积操作，避免因线性插值造成结构信息损失，以解决现有技术中存在的问题。

本发明解决其技术问题所采用的技术方案是：一种基于多模态空间滤波的图像超分算法，基于多模态空间滤波的残差神经网络模型，所述基于多模态空间滤波的残差神经网络模型包括频率信息获取、特征提取网络和亚像素重建；

频率信息获取，利用空间域的多分辨率特性，将低分辨率图像分解成高频与低频子图，对图像进行稀疏处理，并根据各自的图像特征分别进行特征提取；

所述特征提取模块中的网络由密集连接块以及特征融合层组成；其拥有4个输入通道，分别对应于2DDWT模块中输出的4个小波子带图像LLL，LLH，LHL，LHH；得到4个小波子带图像LRWav；

LRWav通过一个初始化3x3的卷积层对4个输入进行浅层特征提取操作，得到浅层特征ILR:

ILR＝F1(LRWav)

ILR随后进入由密集连接块组成的深度特征提取层；其中每个密集连接块内分别含有三个3x3用于提取特征的卷积层；随后进入由密集连接块组成的深度特征提取层；其中每个密集连接块内分别含有三个3x3用于提取特征的卷积层以及三个用于调整神经元的活跃度、增强网络的非线性的Relu层；

亚像素重建，重构出高分辨率的图像，在保证低频结构信息不丢失的基础上，使图像的纹理细节信息得重构。

作为上述方案的进一步改进，所述Relu层的层与层之间采用密集连接，同时前一个DB的输出和每一层的输出直接连接到后一层。

作为上述方案的进一步改进，最后三个卷积层所输出的特征图进行降维，在末端添加一个局部特征融合层去进行块内特征融合并通过1x1卷积层实现降维，得到每个DB块的特征图输出。

作为上述方案的进一步改进，第i个DB的输出fd表示为

亚像素重建包括四步：特征提取、非线性映射、上采样和多尺度变换；所述特征提取阶段包含3个卷积层，每层有64个3x3大小的滤波器组；采用跳跃连接，形成残差单元并采用PReLU作为激活函数。