[发明专利]一种基于联邦学习的并行空洞新结构的超分辨率重构网络

说明书

本发明公开了一种基于联邦学习的并行空洞新结构的超分辨率重构网络感包括若干个局部稠密连接残差组(LDCRG)，通过将若干个局部稠密连接残差组串联，所有的LDCRG的输出进行融合为上采样重构提供信息；每个局部稠密连接残差组由感受野匹配的残差稠密块(PRDB)组成；所述感受野匹配的残差稠密块包括感受野匹配模块(PDM)和残差稠密块(RDB)，感受野匹配模块添加在残差稠密块RDB的跳跃连接的两端信号之间；本发明通过PDM匹配残差跳跃连接两端的感受野和LDCRG有选择的对残差稠密块的输出进行融合学习，提升SR网络的性能。

技术领域

本发明涉及卷积神经网络结构领域，具体涉及一种基于联邦学习的并行空洞新结构的超分辨率重构网络。

背景技术

单帧图像超分辨率重构(Single Image Super-Resolution Reconstruction,SISR)技术在遥感遥测、天空信号和医学信息成像、安全监控等领域中具有广泛的应用。基于深度卷积网的SISR技术，依靠深和宽的网络来产生尽可能多的特征原子；更依靠残差网的等同映射，使更深的网络收敛。同时依靠稠密连接、依靠记忆门、依靠注意力等机制，也依靠超大样本集的训练和精准拟合机制，显著提高了SR图像的重建质量。

第一个图像SR卷积网SRCNN(C.DONG,C.C.LOY,K.HE,X.TANG.Learning a deepconvolutional network for image super-resolution[C]//European Conf.onComputer Vision.Switzerland:Springer-Cham,2014:184-189.)特点是大样本、强学习和高速算力；非常深网络VDSR(J.KIM,J.K LEE,K.MU LEE.Accurate image super-resolution using very deep convolutional networks[C]//IEEE Conf.on ComputerVision and Pattern Recognition.Las Vegas:IEEE,2016:1646-1654.)的20层跳跃连接残差机制是网络收敛性的首个保证。递归网DRCN(J.KIM,J.K LEE,K.MU LEE.Deeply-recursive convolutional network for image super-resolution[C]//IEEE Conf.OnComputer Vision and Pattern Recognition.Las Vegas:IEEE,2016:1637-1645.)在推理阶段基于监督机制实现了多次递归而不崩溃，因而重构性能随深度和递归次数的增加而提高。另一方面，增强SR残差网EDSR(B.LIM,S.SON,H.KIM.Enhanced deep residualnetworks for single image super-resolution[C]//IEEE Conf.On Computer Visionand Pattern Recognition.Honolulu:IEEE,2017:1132-1140.)去掉了残差稠密网络SRResNet(T.TONG,G.LI,X.LIU,Q.GAO.Image super resolution using dense skipconnections[C]//IEEE Conf.on Computer Vision.Venice:IEEE,2017:4809-4817.)的批归一化层(Batch Normalization,BN)，原因是，BN层虽然重新产生数据的分布，可以减轻梯度消弭影响，但在SR重建中，BN层会使数据变形，破坏低分辨率原始特征。包含残差连接的SR网络是能够真正加深的，一来它提供的恒等映射是对网络学习的一个先验约束，改变网络矩阵的对称性，使深层隐单元仍能对不同输入呈现不同响应，从而减轻网络的退化；而且残差本身是基本单元中输入输出间的差异值，直观指示了学习性能，减轻了残差网的学习难度。不过，即使对于最省参数的等深等宽的残差基本单元，在网络不通位置的子模块中，其残差跳连两端的输入和输出信号的感受野(Perceptive Field，PF)失配的差异值包含了感受野的变化和其他图像特征的变化，会限制子模块对特征信息的提取高效可控。