[发明专利]一种图像超分辨率重建方法及系统

说明书

本发明涉及一种图像超分辨率重建方法及系统，其方法包括：获取一张或多张第一分辨率图像，提取其浅层信息；基于信息蒸馏方法，对提取到的浅层信息进行深层提取，得到每张第一分辨率图像的多个不同层级粒度和分辨率的特征；将每张第一分辨率图像及其多个不同层级粒度和分辨率的特征，输入到训练完成的重建网络中，得到高于第一分辨率的第二分辨率图像。本发明通过分层级蒸馏的方法，提取低分辨率图像的不同粒度和不同分辨率的特征，再将这些特征进行融合和上采样，从而重建出高于原低分辨率图像的超分辨率图像。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种图像超分辨率重建方法及系统。

背景技术

近年来，随着智慧城市、平安城市等国家主导工程的推动，视频监控摄像头在全国范围内迅速普及。据IDC于2018年9月30日预测，中国视频监控摄像头在2022年部署量将达到27.6亿台。此外，随着视觉通信和图像处理技术的高速发展，人们可以获取的数字图像数据已经呈现爆炸式的增长，极大地促进了计算机视觉领域的快速发展。数字图像作为记录视觉任务的信息载体，已与人们的日常生活息息相关。近年来，基于计算机视觉的科学研究日益重要，数字图像被广泛地应用于安防监控、医疗识别、卫星探测以及人们的日常生活中。因此，当前迫切要求数字图像处理技术不断提高和完善。

日前，日常生活中常见的成像设备有数码相机、移动手机和监控摄像头等。然而，在成像过程中受限于传感器质量等因素，可能造成采集到的数字图像分辨率过低和图像模糊，无法清晰明确地记录场景中信息。其直观的影响是图像的视觉效果无法满足人类感知要求，限制了数字图像的应用价值。更进一步地影响了后续其他视觉任务的处理效果。因此，亟需一种有效的图像超分辨率算法，以从低分辨率图像复原出可靠的高清图像。为了解决这个问题，有许多超分辨率方法被提出，包括早期的传统方法和最近的基于学习的方法。传统方法极依赖先验信息且处理优化过程非常耗时，而深度学习方法通过增大网络深度来提升图像分辨性能，会增大网络计算代价，不适用于诸如手机和相机等便携式设备。后续提出的轻量级超分辨率算法却通过牺牲性能换取较小的计算代价。

发明内容

为解决传统基于深度学习的图像超分辨率重建方法依赖网络先验信息且效率低，无法适配便携式设备的问题，在本发明的第一方面，提供了一种图像超分辨率重建方法，包括：获取一张或多张第一分辨率图像，提取其浅层信息；基于信息蒸馏方法，对提取到的浅层信息进行深层提取，得到每张第一分辨率图像的多个不同层级粒度和分辨率的特征；将每张第一分辨率图像及其多个不同层级粒度和分辨率的特征，输入到训练完成的重建网络中，得到高于第一分辨率的第二分辨率图像。

在本发明的一些实施例中，所述基于信息蒸馏方法，对提取到的浅层信息进行深层提取，得到每张第一分辨率图像的多个不同层级粒度和分辨率的特征包括：构建深层特征提取模块，所述深层特征提取模块包括多个组－信息蒸馏模块、多个密集快捷连接；多个组－信息蒸馏模块分别对提取到的浅层信息进行信息蒸馏，得到每张第一分辨率图像的多个不同层级粒度和分辨率的特征；每两个组－信息蒸馏模块之间通过密集快捷连接，构成一个组－信息蒸馏残差组模块；多个组－信息蒸馏残差组模块，用于学习所述多个不同层细粒度和分辨率的特征。

进一步的，所述多个每组－信息蒸馏模块对提取到的浅层信息进行信息蒸馏包括：构建多个级联的分组可分离卷积残差块，每组可分离卷积残差块的输出作为下一组可分离卷积残差块的输入；融合所有可分离卷积残差块的输出特征图；对融合后的输出特征图进行压缩和加权相乘，得到加权的输出特征图。

在本发明的一些实施例中，所述重建网络包括非对称残差模块和上采样重建模块，所述非对称残差模块，用于根据输入特征图的不同空间尺寸和通道数，建立多个分支采样路径，并根据其和softmax操作，得到包含全局信息的特征图；所述上采样重建模块，用于将所述全局信息的特征图进行上采样，得到高于第一分辨率的第二分辨率图像。

进一步的，所述上采样重建模块通过将扩大的全局信息的特征图的通道数，并对扩大后的特征图进行周期排列，得到高于第一分辨率的第二分辨率图像。