[发明专利]一种基于双边上采样网络的任意倍数图像超分辨率重建方法

说明书

本发明涉及一种基于双边上采样网络的任意倍数图像超分辨率重建方法，输入待处理的低分辨率图像和放大倍数，待处理的输入图像称为低分辨率图像，使用超分辨率重建方法放大的图像称为高分辨率图像；首先使用位置图构造模块构造位置图，然后使用空域权重预测模块预测双边上采样卷积核的空域权重；通过卷积神经网络特征提取模块提取低分辨率图像特征作为双边上采样卷积核的值域权重；预测得到的空域权重和值域权重，通过双边上采样参数计算模块，计算双边上采卷积核参数；进行上采样处理，得到超分辨率特征图；将超分辨率特征图的通道数转换到输入图像的通道大小，输出重建的超分辨率图像。本发明可以应用于任意倍数低分辨率图像超分辨率重建，可以有效提高低分辨率图像超分辨率重建准确度。

技术领域

本发明涉及图像重建方法领域，具体涉及一种基于双边上采样网络的任意倍数图像超分辨率重建方法。

背景技术

随着智能移动设备的普及，人们越来越倾向于从图像中获取信息。图像分辨率是衡量图像信息量的一个关键指标。图像分辨率越高，所包含的信息量也就越丰富，越能够更加真实详细的描述客观场景。但是现实生活中受到网络传输速度以及传感器水平等硬件条件的制约，呈现出的图像分辨率一般较低，很难满足人们的实际使用需求，因此需要使用基于软件的图像超分辨率重建方法来有效的解决这一问题。

单张图像超分辨率重建方法旨在使用低分辨率图像恢复重建尽可能真实的高分辨率图像。它在安防、监控成像、医学成像以及卫星和遥感成像中具有非常广泛的应用。目前，大多数基于卷积神经网络的单张图像超分辨率重建方法仅仅使用固定放大倍数(2倍、3倍、4倍或者8倍)对低分辨率图像进行超分辨率重建。但是现实生活中人们往往需要对图像进行任意倍数的放大以查看图像的局部细节。因此，解决任意放大倍数的图像超分辨率重建问题对于图像超分辨率重建投入实际使用有非常重大的意义。

现有的图像超分辨率重建方法可以分为三种类型：基于插值的方法，基于统计的方法和基于学习的方法。在早期，前两类方法因其计算效率优势而得到广泛的关注。但是，这两类方法总是局限于较小的超分辨率倍数(2倍超分辨)，超分辨率倍数增大时(4倍或者8倍超分辨)效果较差。基于学习的方法【1】使用大量的低分辨率-高分辨率图像对来训练图像超分辨率重建模型，使得训练好的模型可以根据输入数据来推断出低分辨率图片所缺失的高频信息，并且在较大放大倍数时也可以得到较好的超分辨率重建效果。基于深度学习的方法具有从大规模数据库中学习知识的强大能力，因而被引入到图像超分辨率重建问题。但是这些基于卷积神经网络的方法仅仅使用固定的整数放大倍数【2】来学习低分辨率图像到高分辨率图像之间的映射关系，当需要任意放大倍数或者非整数放大倍数时这些方法并不适用。

目前图像超分辨率重建领域主要有三种方法来应对任意放大倍数问题。第一种是使用双线性插值方法对低分辨率特征图进行上采样。董等人【3】初次提出使用卷积神经网络学习端到端的单张图像超分辨率重建任务，并使用双线性插值方法将低分辨特征图上采样到高分辨率特征图，但是使用双线性插值的方法无法自适应的学习上采样参数，因此超分辨率重建效果较差。赖等人【4】使用拉普拉斯金字塔网络对低分辨率特征图进行逐级上采样以此改善超分辨率重建效果，但是这种在高分辨率图像上进行特征提取的方法计算量较大。第二种方法是针对不同的上采样倍数学习不同的上采样模块。施等人【5】提出使用使用子像素卷积的方法对低分辨率特征图进行上采样处理，以此加快上采样网络的运行速度，但是子像素卷积只适用于整数倍的放大倍数，无法处理非整数倍的放大倍数。林等人【6】使用共享特征提取模块训练不同的上采样模块的方法学习不同的放大倍数，但是这种方法同样只适用于整数倍放大倍数。第三中方法是根据不同的放大倍数自适应的学习上采样模块的参数。胡等人【7】引入元学习的思想构造上采样模块，首次实现低分辨率图像通过单模型进行任意尺度的上采样，通过动态预测上采样卷积参数，在应用上达成类似在图片查看器中滚动滑轮查看图片的效果。但是这种方法只使用放大倍数估计上采样卷积参数，没有用到图像的内容信息【8】，使得超分辨率重建结果比较模糊，因此需要针对这一问题加以改进。