[发明专利]基于高频信息特征融合的图像超分辨率重建方法

权利要求书

1.一种基于高频信息特征融合的图像超分辨率重建方法，其特征在于包括以下步骤：

步骤1：选取至少501幅RGB图像；然后对每幅RGB图像进行预处理，得到每幅RGB图像对应的尺寸为24×24且包含有高频信息的低分辨率图像；再将至少500幅尺寸为24×24且包含有高频信息的低分辨率图像构成训练图像集，将剩余的尺寸为24×24且包含有高频信息的低分辨率图像构成测试图像集；

步骤2：构建基于残差网络的生成网络：其包括特征预提取模块、包含有18个残差块的残差网络、基于PixelShuffle的上采样模块、输出模块，特征预提取模块对输入的低分辨率图像进行特征预提取，残差网络对特征预提取模块预提取的特征进行特征提取，上采样模块对残差网络提取的特征进行两次上采样操作，输出模块对上采样操作后得到的特征进行特征映射，并输出通道数为3的超分辨率图像；其中，低分辨率图像的尺寸为24×24，超分辨率图像的尺寸为96×96；

步骤3：将训练图像集中的每幅低分辨率图像输入到基于残差网络的生成网络中进行预训练，预训练过程中采用MSE损失函数；

步骤4：使用训练图像集按照步骤3的过程进行至少300轮预训练，得到生成网络预训练模型；

步骤5：构建基于高频信息特征融合的生成对抗网络：其包括已构建的基于残差网络的生成网络和基于卷积神经网络的判别网络，生成网络加载生成网络预训练模型，判别网络由高频信息蒸馏模块、高频信息特征提取模块、图像特征提取模块、特征融合模块以及像素域判别模块组成，高频信息蒸馏模块的输入端接收一幅高分辨率图像或超分辨率图像，高频信息蒸馏模块提取出高分辨率图像或超分辨率图像中的三个高频信息并对三个高频信息进行融合及归一化处理，高频信息蒸馏模块的输出端输出高分辨率图像或超分辨率图像的高频信息归一化图像，高频信息特征提取模块的输入端接收高频信息蒸馏模块的输出端输出的高频信息归一化图像，高频信息特征提取模块对高频信息归一化图像进行特征提取，高频信息特征提取模块的输出端输出高频信息特征，图像特征提取模块的输入端接收输入到高频信息蒸馏模块的高分辨率图像或超分辨率图像，图像特征提取模块对高分辨率图像或超分辨率图像进行特征提取，图像特征提取模块的输出端输出图像特征，特征融合模块的第一输入端接收高频信息特征提取模块的输出端输出的高频信息特征，特征融合模块的第二输入端接收图像特征提取模块的输出端输出的图像特征，特征融合模块对特征进行拼接融合，特征融合模块的输出端输出融合特征，像素域判别模块的输入端接收特征融合模块的输出端输出的融合特征，像素域判别模块对融合特征进行判别，像素域判别模块的输出端输出高分辨率图像或超分辨率图像的矩阵得分；其中，高分辨率图像的尺寸为96×96，高频信息归一化图像的尺寸为48×48，矩阵得分的维数为16×16；

步骤6：将训练图像集中的每幅低分辨率图像输入到生成网络中，生成网络输出对应的超分辨率图像；然后将训练图像集中的每幅低分辨率图像对应的高分辨率图像和超分辨率图像分别输入到判别网络中，判别网络分别输出高分辨率图像和超分辨率图像各自的矩阵得分；接着将训练图像集中的每幅低分辨率图像对应的高分辨率图像输入到VGG网络模型中，VGG网络模型提取出在其第4个卷积层激活后第5个最大池化层之前获取的特征图，并将训练图像集中的每幅低分辨率图像对应的超分辨率图像输入到VGG网络模型中，VGG网络模型提取出在其第4个卷积层激活后第5个最大池化层之前获取的特征图，利用这两幅特征图计算感知损失，记为再利用判别网络对训练图像集中的每幅低分辨率图像对应的超分辨率图像的矩阵得分计算对抗损失，记为之后根据感知损失和对抗损失计算生成网络的损失，记为Loss_Gen，同时利用判别网络对训练图像集中的每幅低分辨率图像对应的超分辨率图像的矩阵得分和训练图像集中的每幅低分辨率图像对应的高分辨率图像的矩阵得分计算判别网络的损失，记为Loss_Dis，最后根据生成网络的损失进行反向传播优化生成网络的参数；同样，根据判别网络的损失进行反向传播优化判别网络的参数；其中，I^HR表示低分辨率图像对应的高分辨率图像，表示VGG网络模型提取出的I^HR对应的特征图，表示中坐标位置为(w,h)的像素点的像素值，I^LR表示低分辨率图像，gen( )表示生成网络，gen(I^LR)表示生成网络输出的I^LR对应的超分辨率图像，表示VGG网络模型提取出的gen(I^LR)对应的特征图，表示中坐标位置为(w,h)的像素点的像素值，W表示VGG网络模型提取出的特征图的宽度，H表示VGG网络模型提取出的特征图的高度，1≤w≤W，1≤h≤H，δ_DWT( )表示高频信息蒸馏模块，δ_DWT(gen(I^LR))表示高频信息蒸馏模块的输出端输出的超分辨率图像的高频信息归一化图像，符号表示两幅图像的拼接操作，dis( )表示像素域判别模块，表示像素域判别模块的输出端输出的超分辨率图像的矩阵得分，δ_DWT(I^HR)表示高频信息蒸馏模块的输出端输出的高分辨率图像的高频信息归一化图像，表示像素域判别模块的输出端输出的高分辨率图像的矩阵得分；

步骤7：使用训练图像集按照步骤6的过程进行至少300轮对抗训练，得到生成网络训练模型和判别网络训练模型；其中，对抗训练过程中，adam优化器的两个超参数beta1设为0.9、beta2设为0.999、batch size设为16、初始学习率设为10e-4，每迭代1×10⁵次后学习率都减半；

步骤8：生成网络训练模型根据测试图像集中的每幅低分辨率图像生成对应的超分辨率图像。