[发明专利]单幅图像多尺度超分辨重建网络结构及方法

说明书

本发明公开了一种单幅图像多尺度超分辨重建网络结构及方法，本发明网络结构包括：特征提取层，输入为原始图像，输出连接空洞卷积神经网络输入层；级联扩张层，输入与空洞卷积神经网络输出层连接；聚合层，用于融合所述特征提取层不同尺度的低层编码信息以及所述级联扩张层的解码信息；重建模块，输入为所述级联扩张层的输出，输出为重建后的图像。本发明采用后端升采样网络将图像映射变换都在低分辨率空间进行，降低了计算复杂度和空间复杂度。

技术领域

本发明涉及计算机视觉、人工智能领域，特别是一种单幅图像多尺度超分辨重建网络结构及方法。

背景技术

数字图像超分辨率重建技术是信息处理技术的重要内容，是低分辨率图像生成高分辨率图像的主要手段之一，在很多领域得到了越来越广泛的应用：如城市排水管网缺陷检测需要通过低分辨率的图像重建高清图像从而实现缺陷识别和定级；在使用遥感影像检测地物时需要以低分辨率的图像重建细节更加突出的高分辨率遥感影像；在水质监测中，影像数据易受水汽影像导致图像模糊、通道信号差，需要采用超分辨率重建恢复细节更丰富的信息；医学中采用模糊图像重建技术放大人眼不能辨别的细微病灶而不丢失图像信息等。因此，提高图像分辨率而不丢失图像的细节纹理是图像处理领域的主要技术之一。

CN202011318695.X公开了一种基于多尺度通道注意力机制的单幅图像超分辨率方法，提出采用多尺度通道注意力重建超分辨方法，但该方法存在以下两个问题：

(1)该方法预先设定的升采样方法会引入模糊(noise)、噪声放大(noiseamplification)等问题，同时因为网络在前端即进行插值到高分辨率空间，所需的存储空间和耗时都远高于其他类型超分网络；

(2)该方法采用多尺度通道注意力，较好的实现了全局信息的提取，但是其未能考虑图像低层编码信息与高层解码信息的融合，该网络无法弥补图像在卷积过程中损失的细节信息，造成重建后出现伪影现象。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种单幅图像多尺度超分辨重建网络结构及方法，增加重建阶段图像信息量，避免重建的图片出现伪影。

为解决上述技术问题，本发明所采用的技术方案是：一种单幅图像多尺度超分辨重建网络结构，包括：

特征提取层，输入为原始图像，输出连接空洞卷积神经网络(NLA)输入层；

级联扩张层，输入与空洞卷积神经网络输出层连接；

聚合层，用于融合所述特征提取层不同尺度的低层编码信息以及重建模块上采样后的解码信息；

重建模块，输入为所述级联扩张层的输出，输出为重建后的图像。

本发明采用聚合层将特征提取层不同尺度的低层编码信息以及级联扩张层解码信息融合起来，增加了图像重建阶段图像信息量，避免了重建的图片出现伪影，解决了图像重建时图像信息损失严重的问题。针对现有技术升采样方法容易在图像中引入噪声、同时计算和空间复杂度高的问题，本发明采用后端升采样网络(级联扩张层)将图像映射变换都在低分辨率空间进行，同时结合空洞卷积神经网络(NLA模块)降低了计算复杂度和空间复杂度。

所述特征提取层包括：

卷积模块，用于提取原始图像的浅层特征；

M个残差组件，与所述卷积模块连接，用于提取深层特征；其中，M≥1。

卷积操作将图像映射到低分辨率空间，降低计算复杂度和空间复杂度，残差组件可以提取到图像更深层的语义信息。

所述级联扩张层包括M个级联的解码器；第一个解码器与所述空洞卷积神经网络输出层连接，第M个解码器与所述重建模块连接。所述级联扩张层采用转置卷积级联解码，可以自适应学习图像编码-解码映射关系,得到更详细的图像信息恢复特征，进一步提高图像重建精度。