[发明专利]一种基于多尺度残差层级密连接网络的图像超分辨率方法

权利要求书

1.基于多尺度残差层级密连接网络的图像超分辨率方法，其特征在于包括训练流程以及测试流程，具体包括以下步骤：

S1、制作训练数据集、验证数据集；

采用DIV2K的800张2K图像来制作成对的低分辨率-高分辨率图像作为训练数据集；使用NTIRE2017图像超分辨率比赛中公开的数据集DIV2K数据集，其包含了1000张高质量的2K分辨率图像，它们包含了丰富的场景，800张用于训练网络，100张用于验证网络的性能，剩余的100张用于测试网络的重建能力；采用双三次核插值的方法对2K图像进行某一缩放倍数的下采样处理，得到低分辨率图像(LR)，与真实图像(HR)构成训练样本对，用于训练多尺度残差层级密连接网络模型；由于原始的图像尺寸太大，直接输入到网络模型中去训练会造成网络模型计算量过大，减慢训练速度，因此对低分辨率图像进行随机剪裁，将其裁剪为A×D大小的图像块，对应的高分辨率图像裁剪为Ar×Dr，其中A和D分别代表着图像块的高度和宽度，将其裁剪为48×48大小的图像块，对应的高分辨率图像裁剪为48r×48r，r为放大因子；为了增强训练数据集中数据的多样性和扩展数据量，对训练数据集中的低分辨率图像和高分辨率图像进行翻转和旋转，包括90°、180°和270°；

所述验证数据集采用Set5，由5张图像组成，在网络训练过程用于评估生成网络的重建性能，利于观察生成网络模型的收敛程度；

S2、建立多尺度残差层级密连接网络模型；

所述多尺度残差层级密连接网络模型包括浅层特征提取模块、深层特征提取模块和重建模块；

所述浅层特征提取模块包括一个3×3的卷积层，用于将3通道的输入图像转换为64通道的浅层特征图，如下所示：

H₀＝F_SF(I_LR)；

其中，H₀是浅层特征，而I_LR是输入的低分辨率图像，F_SF代表浅层特征提取模块；

所述深层特征提取模块包括M个多尺度残差层级密连接块、特征融合块和全局跳跃连接，M设置为10；多尺度残差层级密连接块从浅层特征H₀中提取多尺度、多层次的深层特征，特征融合块包括串联层(concat)、1×1卷积层(Conv)和ReLu激活层，特征融合块将提取的多尺度、多层次深层特征进行融合，全局跳跃连接将浅层特征传递到多尺度残差层级密连接网络模型中深层特征提取模块的尾部，使得网络模型的主要部分即多尺度残差层级密连接块专注于提取高频信息，同时加快网络模型的收敛速度，具体如下：

H_DF＝F_DF(H₀)＝H₀+F_GF([H₁，H₂，…，H_m，…，H_M])；

其中，H_DF是提取的深层特征，F_DF代表深层特征提取模块，H_m是第m个多尺度残差层级密连接块提取的特征，F_GF代表特征融合块，[·]代表串联；

所述重建模块包括上采样块和一个3×3卷积层，用于将提取的深层特征进行相应倍数的放大并重建出最终的高分辨率图像I_SR；所述上采样块由3×3卷积层(Conv)、ReLu激活层、上采样层(Upsampling Layer)、3×3卷积层(conv)、ReLu激活组成，上采样层采用亚像素层(sub-pixel layer)，用于将提取的深层特征进行相应倍数的放大并重建出最终的高分辨率图像I_SR，具体如下：

I_SR＝F_REC(H_DF)＝F_conv(F_up(H_DF))；

其中，F_REC代表重建部分，F_conv和F_up分别代表上采样块和卷积层；

所述多尺度残差层级密连接块包括层级密连接模块、记忆单元、多尺度块和局部跳跃连接；

所述层级密连接模块用于提取多层次的特征，由K个次密连接块以密连接的形式连接组成，K设为5，如下所示：

其中，是第m个多尺度残差层级密连接块中的层级密连接模块提取的特征，代表第m个多尺度残差层级密连接块的层级密连接模块，代表层级密连接模块中的K个次密连接块，S_k是第k个次密连接块提取的特征，[·]代表串联操作；

所述记忆单元用于将层级密连接模块提取的特征整合起来，自适应地提取出统一的信息，同时减少特征图的通道数量，从而减少多尺度残差层级密连接块中后续的层级密连接块的计算量，如下所示：

其中，是第m个多尺度残差层级密连接块的记忆单元提取的特征；

记忆单元由一个1×1的卷积层组成，首先将前面的次密连接块提取的特征图进行串联操作，经过1×1卷积进行特征压缩，得到W×H×G大小的特征图，其中W、H为低分辨率图像块的长、宽，G为增长率(growth rate)，G设为64；

所述多尺度块包括膨胀空间金字塔池化结构和跳跃连接；所述膨胀空间金字塔池化结构包括并行的1×1卷积、三个膨胀率分别为1、2、4的3×3卷积层、池化层，一个融合上述卷积层提取的特征图的1×1的卷积层和跳跃连接，用于提取融合的特征中不同感受野下的特征，有助于提高整体网络的重建性能；所述跳跃连接用于将记忆单元提取的特征与膨胀空间金字塔池化结构的输出连接，有利于提高网络的效率和稳定性；如下所示：

其中，代表第m个多尺度残差层级密连接块中的膨胀空间金字塔池化结构，是第m个多尺度残差层级密连接块的多尺度块提取的特征；

第m个多尺度残差层级密连接块提取的特征H_m如下所示：

所述次密连接块用于提取局部的多层次特征，包括特征压缩块、局部密连接组、融合块、输入跳跃连接和压缩跳跃连接；

特征压缩块由一个3×3卷积层和ReLu组成，特征压缩块将次密连接块的输入特征进行通道数压缩，以减少局部密连接组的计算量；所述局部密连接组的卷积层数由次密连接块的输入特征的通道数k×G所决定，G为增长率，设为64，局部密连接组由k-1个卷积块组成，其中包括串联、3×3卷积层和ReLu；如下所示：

其中，是第k个次密连接块中的局部密连接组提取的特征，S_BLC是特征压缩块压缩后的特征，S_k-1，d是第k个次密连接块中的局部密连接组的第d个卷积层提取的特征；

所述融合块是一层1×1卷积层，将局部密连接组提取的特征进行融合、压缩，第k个次密连接块提取的特征S_k如下所示：

S_k＝S_BLC+F_FB(S_k-1+S_LDG)；

其中，F_FB表示融合块，所述输入跳跃连接将第k-1个次密连接块提取的特征S_k-1传递给融合块，所述压缩跳跃连接将特征压缩块压缩后的特征S_BLC传递到次密连接层的尾部；输入跳跃连接和压缩跳跃连接有助于稳定多尺度残差层级密连接网络模型的训练和提升网络模型性能；

S3、初始化步骤S2中建立的多尺度残差层级密连接网络模型，确定损失函数，选取优化器，设置多尺度残差层级密连接网络模型训练的参数；

采用kaiming高斯初始化方法对多尺度残差层级密连接网络模型的卷积层权值进行初始化；所述多尺度残差层级密连接网络模型训练的参数包括：指定训练数据集和验证数据集的路径、指定放大因子r、输入到网络模型的批数据量B、初始学习率Lr_initial、网络模型训练的迭代次数e、输入到网络模型的高分辨率图像块大小patch_size；

分别训练了2倍、3倍、4倍和8倍的多尺度残差层级密连接网络模型，因此放大因子分别为2、3、4、8；输入到网络模型的批数据量B设为16；初始学习率Lr_initial设为1×10^-4；设置网络训练的迭代次数为1000个epoch；输入到网络模型的低分辨率图像块大小为48×48，而高分辨率图像块的大小为48r×48r，因此当放大因子为4时，其对应的高分辨率图像块大小patch_size设为192；

图像超分辨率任务中常用的损失函数有L₁、L₂、感知损失、对抗损失，为了减少多尺度残差层级密连接网络模型的计算复杂度，选用L₁损失作为损失函数来优化多尺度残差层级密连接网络模型；在迭代训练的过程中，损失函数可能会产生震荡，表明当前的学习率过大，阻碍网络模型的收敛，即收敛曲线在极值点附近震荡，在网络训练E个epoch后，将学习率减半，加速网络模型的收敛，提高网络模型的性能，E设置为200；

选取ADAM优化器来多尺度残差层级密连接网络模型进行反向梯度传播，更新模型参数，ADAM的参数设置为：β₁＝0.9，β₂＝0.999以及ε＝10^-8；

S4、训练多尺度残差层级密连接网络模型，每个epoch使用验证集来测试模型的性能，得到训练好的多尺度残差层级密连接网络模型；

对多尺度残差层级密连接网络模型进行1000个周期的训练；

给定训练集L₁函数定义如下所示：

其中，W、H为低分辨率图像的长、宽，C为通道数目，r为放大因子，F_θ代表多尺度残差层级密连接网络模型，θ代表网络参数集，在整体网络训练过程进行优化；

每个epoch训练都对模型进行验证，使用双立方插值方法对原始高分辨率图像(HR)下采样得到对应的低分辨率图像(LR)；

S5、获取测试数据集，将测试数据集输入训练好的多尺度残差层级密连接网络模型中执行测试，生成超分辨率图像；

采用五个标准的测试数据集进行图像超分辨率模型效果的验证，这个五个测试集是：Set5、Set14、BSD100、Urban100和Manga109，Set5、Set14、BSD100是一些自然图像的集合；Urban100是100张具有高频信息的城市图像的集合；Manga109是109张日本漫画图像的集合；这些数据集被广泛地应用在各种各样的超分辨率模型验证上，首先对数据集的高分辨率图像进行下采样操作得到对应的低分辨率图像；也可以获取生产生活中的需要进行放大的低分辨率图像作为测试的输入；

执行测试操作，生成超分辨率图像(SR)；

S6、计算生成的超分辨率图像与真实的高分辨率图像之间的峰值信噪比和结构相似度；

将多尺度残差层级密连接网络模型重建的超分辨率图像I_SR与原始的高分辨率图像I_HR转换到YCbCr颜色空间，在Y通道上计算峰值信噪比和结构相似度，衡量多尺度残差层级密连接网络模型的重建质量；

峰值信噪比(PSNR)在全局信息上衡量图像重建质量的好坏，计算公式如下：

其中H、W为低分辨率图像的长度和宽度，r为放大因子，X为真实图像，为生成的超分辨率图像；MSE为均方误差，n为每像素的比特数，n取8；PSNR的单位是分贝(dB)，数值越大表示失真越小，重建质量越好；

结构相似度(SSIM)衡量图像在结构上的相似程度，利用均值和方差，在全局统计特性下衡量测试图像和参考图像的结构的相似程度，计算公式如下：

其中，μ_x，μ_y分别是图像x，y的均值；σ_x，σ_y分别是图像x，y的方差；其中，μ_x，μ_y分别是图像x，y的均值；σ_x，σ_y分别是图像x，y的方差；c₁＝k₁R，c₂＝k₂R，k₁＝0.01，k₂＝0.03，R是像素值的动态范围，灰度图像的像素值取值范围为[0，255]，本实例中R取255；c₁，c₂是为了防止分母为0；

sSIM在亮度、对比度和结构上对图像结构的相似程度进行度量，其取值范围为[0，1]，值越大表示两幅图像越相似，反之则越不相似，当两幅图像完全相同时，SSIM值为1。