[发明专利]一种基于自适应权重学习的轻量化超分辨率重建方法

说明书

本发明公开了一种基于自适应权重学习的轻量化超分辨率重建方法，包括：使用特征提取网络对输入图像提取图像浅层特征；经过含有自适应权重分配机制的非线性映射网络提取图像浅层特征，利用注意力和无注意力两个分支提取的信息，采用自适应权重融合分支动态分配两个分支的权重，同时通过卷积层拆分和融合两条分支，获得图像深层特征；经过重建网络提取图像深层特征，获得重建高分辨率图像。该方法大幅降低了两个分支的参数量，更好地与自适应权重分配机制结合，在提升网络重建性能的同时降低了网络的参数量。

技术领域

本发明涉及深度学习与计算机视觉技术领域，特别涉及一种基于自适应权重学习的轻量化超分辨率重建方法，具体涉及超分辨率重建技术。

背景技术

图像超分辨率重建(Super-Resolution,SR)是计算机视觉领域中的一个重要研究方向，目的在于根据给定低分辨率图像(Low Resolution,LR)恢复对应的高分辨率图像(High Resolution,HR)。

近年来，基于深度卷积神经网络(Convolutional Neural Networks,CNN)的图像超分辨率重建方法取得了较好的效果，成为超分辨率重建领域的重要研究方向之一。Dong等人在2014年首次将深度学习应用于超分辨率重建，提出了基于深度卷积神经网络的图像超分辨率重建方法(SRCNN)。在此之后，Kim等人提出了一个用于图像超分辨率重建的超深度卷积神经网络(VDSR)，利用全局跳跃连接加深网络，将上采样的低分辨率图像逐元素添加到输出的重建图像中，提升了网络性能。Lai等人提出的拉普拉斯金字塔超分辨率网络(LapSRN)使用逐步上采样、逐级预测残差的方案来解决速度和精度问题。Lim等人提出了增强型深度超分辨率重建网络(EDSR)和多尺度深度超分辨率重建系统(MDSR)，这两种方法删除了前人方法中常用的BN层，使网络中信息更新范围更加灵活，从而极大地提高了性能。Zhang等人借鉴Huang等人提出的密集连接网络(DenseNet)，提出了基于残差密集连接的超分辨率重建网络(RDN)，在减小参数量的同时提高了性能，但密集连接网络有更高的时间复杂度，导致推理时间过长。

注意力机制是使设备计算资源的分配更偏向于信息中最有表征意义的一种方法。近些年来，注意力机制已经成功地应用于深度卷积超分辨率重建网络，将网络的操作重点引向含有更多信息的特征区域。注意力机制主要分为通道注意力机制与空间注意力机制，其中通道注意力机制的代表性工作是Zhang等人提出的基于残差注意力的超分辨率重建网络(RCAN)，它首次将通道注意力应用于超分辨率重建，通过通道之间的相互依赖自适应地调整通道特征，使得RCAN的重建结果在准确性和视觉效果上均超越了EDSR方法，但是该方法只提取了一阶图像特征，忽略了高阶图像特征，因而无法获取局部区域以外的信息。针对此问题，Dai等人提出了一个基于二阶注意力的超分辨率重建网络(SAN)，利用二阶的特征统计量自适应地细化通道间的特征。这种二阶通道注意力机制更关注有用的高频信息，提高了网络判别能力。Zhang等人提出的深度残差非局部注意力网络(RNAN)则是利用Non-local模块提取整个特征图之间的空间相关性，实现更好的重建效果。Niu等人提出的基于整体注意力的超分辨率重建网络(HAN)结合了两种注意力机制，从而捕获更多有用信息，学习到不同深度、通道和位置之间信息的相关性。

上述方法显著提高了重建性能，但是随着网络参数量的不断增加，网络的时间复杂度和空间复杂度也在逐步增大，导致这些方法无法应用于移动终端等轻量化场景。针对这一问题，Ahn等人提出的一种级联残差网络(CARN)使用逐层逐块的多级连接结构，使信息高效地传递，虽然减小了参数量，但是重建性能也大幅降低。Hui等人提出了一种信息蒸馏网络(IDN)，通过通道拆分策略，聚合当前信息与局部跳跃连接的信息，从而利用较小的参数量获得了良好的性能。之后，Hui等人又提出了信息多级蒸馏网络(IMDN)，通过信息精细蒸馏模块进一步改进了IDN，重复使用通道拆分策略，从而提取细粒度的图像特征。IMDN在峰值信噪比和测试时间方面均有良好的表现，但其参数量大于大多数轻量级重建网络(例如VDSR，IDN，MemNet)。