[发明专利]一种基于多尺度残差层级密连接网络的图像超分辨率方法

说明书

本发明公开了一种基于多尺度残差层级密连接网络的图像超分辨率方法。所述方法包括以下步骤：制作训练数据集、验证数据集；建立多尺度残差层级密连接网络模型；初始化多尺度残差层级密连接网络模型，确定损失函数，选取优化器，设置训练的参数；训练多尺度残差层级密连接网络模型，每个epoch使用验证集来测试模型的性能，得到训练好的多尺度残差层级密连接网络模型；获取测试数据集，将测试数据集输入训练好的多尺度残差层级密连接网络模型中执行测试，生成超分辨率图像；计算生成的超分辨率图像与真实的高分辨率图像之间的峰值信噪比和结构相似度。

技术领域

本发明涉及计算机视觉领域，具体涉及一种基于多尺度残差层级密连接网络的图像超分辨率方法。

背景技术

随着科技的进步和设备的更新，智能手机、数码相机等设备在生活中十分常见，人们常常使用这些成像设备来记录和分享生活，高清的图像和视频能记录更多更清晰的人物风景。此外，在遥感卫星图像、交通监控、安防、医疗、军事侦察等领域，图像和视频是重要的记录载体，高质量的图像和视频起着至关重要的作用。同时，在计算机视觉的高阶任务中，高质量的图像和视频有助于提升任务的性能。

图像是一种重要的信息载体，而图像分辨率是衡量图像质量的重要标准之一，指图像中存储的信息量，是每英寸图像内包含的像素点数目。分辨率较高的图像包含更多像素点，提供更多的细节和纹理信息，能满足各个领域中的需求。但是在实际生活中，由于成像设备的物理限制、拍摄条件不足、网络带宽限制、网络传输可能存在信息损失等原因，得到的图像质量往往不高。图像超分辨率主要指通过软件技术来提高图像的分辨率，提高图像的质量。这项技术比通过硬件手段来增强图像分辨率更为简单、经济、易行。因此研究先进的图像超分辨率技术具有重要的意义和广泛的应用。

图像超分辨率是指从给定的低分辨率图像中恢复出高质量的高分辨率图像。图像插值通过插值方法来增大图像的尺寸，虽然重建的速度比较快，但是重建出来的图像往往不能满足需求。近年来，具有强大学习能力的深度学习广泛应用于计算机视觉领域，并取得巨大的进步。董超等人在2014年提出论文SRCNN(Dong C,et al.“Image Super-ResolutionUsing Deep Convolutional Networks”)首次将深度卷积神经网络应用到图像超分辨率任务中，利用神经网络端对端地学习低分辨率图像与高分辨率图像之间的映射关系，比传统的基于学习的方法，如基于稀疏表示的图像超分辨率(Yang et al“Image super-resolution via sparse representation”)，取得更好的重建效果和较快的重建速度。随后，大量的基于卷积神经网络的图像超分辨率方法，如LapSRN(La,et al.“Deep LaplacianPyramid Networks for Fast and Accurate Super-Resolution”.)、EDSR(Lim B,et al.“Enhanced Deep Residual Networks for Single Image Super-Resolution.”)、RDN(Zhang et al.“Residual Dense Network for Image Super-Resolution”)被提出来，重建质量也不断提高。

图像中尺度信息对图像超分辨率也是重要的，不同的物体需要不同的尺度信息；另一方面，多数图像超分辨率网络结构对于多层级的神经网络特征利用不充足，不同的层级特征具有不同的感受野和包含不同的信息，这些网络忽略了层级特征之间的相互作用。

本发明根据图像超分辨率重建的特点和图像的特性设计了基于多尺度残差层级密连接的图像超分辨率方法，使用两层密连接的结构来提取多层次的特征，增强梯度传播，优化网络中的信息传播和重用，使用多尺度模块来提取不同尺度的信息，使用多个残差连接来稳定网络的训练，提高网络的重建性能。

发明内容

本发明为了解决上述的技术问题提供了一种基于多尺度残差层级密连接网络的图像超分辨率方法，涉及到图像超分辨率重建方法的改进、多尺度残差层级密连接网络在图像超分辨率领域的实现与应用。