[发明专利]一种基于多模态空间滤波的图像超分算法

权利要求书

1.一种基于多模态空间滤波的图像超分算法，基于多模态空间滤波的残差神经网络模型，其特征在于，所述基于多模态空间滤波的残差神经网络模型包括频率信息获取、特征提取网络和亚像素重建；

频率信息获取，利用空间域的多分辨率特性，将低分辨率图像分解成高频与低频子图，对图像进行稀疏处理，并根据各自的图像特征分别进行特征提取；

所述特征提取模块中的网络由密集连接块以及特征融合层组成；其拥有4个输入通道，分别对应于2DDWT模块中输出的4个小波子带图像LLL，LLH，LHL，LHH；得到4个小波子带图像LRWav；

LRWav通过一个初始化3x3的卷积层对4个输入进行浅层特征提取操作，得到浅层特征ILR:

ILR＝F1(LRWav)

ILR随后进入由密集连接块组成的深度特征提取层；其中每个密集连接块内分别含有三个3x3用于提取特征的卷积层；随后进入由密集连接块组成的深度特征提取层；其中每个密集连接块内分别含有三个3x3用于提取特征的卷积层以及三个用于调整神经元的活跃度、增强网络的非线性的Relu层；

亚像素重建，重构出高分辨率的图像，在保证低频结构信息不丢失的基础上，使图像的纹理细节信息得重构。

2.根据权利要求1所述的基于多模态空间滤波的图像超分算法，其特征在于，所述Relu层的层与层之间采用密集连接，同时前一个DB的输出和每一层的输出直接连接到后一层。

3.根据权利要求2所述的基于多模态空间滤波的图像超分算法，其特征在于，最后三个卷积层所输出的特征图进行降维，在末端添加一个局部特征融合层去进行块内特征融合并通过1x1卷积层实现降维，得到每个DB块的特征图输出。

4.根据权利要求3所述的基于多模态空间滤波的图像超分算法，其特征在于，第i个DB的输出fd表示为

5.根据权利要求1所述的基于多模态空间滤波的图像超分算法，其特征在于，亚像素重建包括四步：特征提取、非线性映射、上采样和多尺度变换；所述特征提取阶段包含3个卷积层，每层有64个3x3大小的滤波器组；采用跳跃连接，形成残差单元并采用PReLU作为激活函数。

6.根据权利要求5所述的基于多模态空间滤波的图像超分算法，其特征在于，PReLU公式为：

δ(y)＝max(0,y)+amin(0,y)

其中y为输入信号，a是函数可学习系数；当a＝0时为ReLU的表达式；卷积层是卷积神经网络的核心组件，具有局部连接和权值共享的特征卷积过程可由公式表示：

Fⁱ＝PReLU(W_c(i)*F^i-1+b_i)

Fⁱ代表第i个卷积层的输出，当i＝1时F⁰＝D^L，D^L代表第一层输入的低分辨率的深度图；W_c(i)代表第i个卷积层的权重；*代表卷积操作，bⁱ代表第i层的偏置。

7.根据权利要求5所述的基于多模态空间滤波的图像超分算法，其特征在于，非线性映射，采用12个1x1卷积核将特征提取阶段输出的64维的高维向量映射成12维的低维向量，然后利用4个卷积层，每层用12个3x3的滤波核增加映射的非线性。

8.根据权利要求5所述的基于多模态空间滤波的图像超分算法，其特征在于，上采样通过反卷积层实现上采样，通过调整反卷积的步长可以实现不同倍数的上采样。

9.根据权利要求1所述的基于多模态空间滤波的图像超分算法，其特征在于，多尺度变换利用多尺度卷积核提取图像特征；多尺度重建部分由10层组成，开始的4个64维3x3的卷积层用于提取高维特征，接下来利用16个1x1卷积核降低维度，多尺度卷积核大小分别为5x5，3x3，7x7，1x1，通过多尺度卷积层可得到16个特征图，最后采用1x1的卷积核连接多尺度特征，从而输出超分重建效果。