[发明专利]一种图像超分辨率的方法及系统

说明书

本发明属于图像超分技术领域，公开了一种图像超分辨率的方法及系统，所述图像超分辨率的方法包括：结合图像非局部自相似性，利用3D卷积神经网络3DCNN处理图像SR，提出基于3DCNN的非局部超分辨率方法；直接利用3DCNN建模非局部相似性，提取自然图像的非局部相似信息；构造基于8层全卷积网络的3DCNN基础模型；进行3DCNN中的3D卷积神经网络的设计，提出基于RNN的改进模型，使基础模型成为改进模型的一种特例。本发明提供的非局部操作的利用能有效地捕获图像中的非局部相似信息，提升SR重建性能；与现有CNN模型相比，表现出明显的重建优势，在结构信息丰富的图像场景上表现突出。

技术领域

本发明属于图像超分技术领域，尤其涉及一种图像超分辨率的方法及系统。

背景技术

目前，基于学习的超分辨率因为其计算速度快，性能表现优异近十几年来 成为了主流的图像超分辨方案，它是计算机视觉方向上的一个病态(ill-posed) 问题。和基于插值和重构方法不一样的是，基于数据的超分辨率应用场景更加 丰富，可以获得较高的重建图像质量。通过学习LR图像和HR图像隐含的映射 关系，然后在通过这种关系进行图像的超分辨率重构根据学习的对象和学习方 式，基于学习的超分辨率重构可以分成：基于流行学习的方法，基于超完备字 典的学习方法，基于K-近邻的学习方法，基于实例学习方法和基于深度学习的 方法。

随着深度学习技术在计算机各个领域的发展，基于深度学习的方法日益成 熟。各学者把更多的目光集中在研究深度学习网络的研究上，尤其是卷积神经 网络(Convolutional Neural Network，CNN)的提出和完善使得深度学习技术在 图像分类，语义分割，目标检测以及图像复原等各个领域的性能得到了极大的 提升。CNN使用卷积核来代替人类中的视野，这样即降低了计算量，又可以有 效的保留图像的特征，同时还能对图片进行更加高效的处理。其中局部感受野， 权值共享是最突出的两个思想，在这两个思想的结合延伸下，CNN网络在提取 特征时拥有位移，尺度不变性等优点。在超分辨重构的领域，CNN模型通过具 有以上特点的网络结构，表现出优异的特征学习能力，这些特征都是生成高质 量的SR图像的必要条件。

在2014年，Dong首次提出使用CNN处理图像超分辨，提出了SRCNN算 法，将CNN引入了SR领域。该算法先将LR图像进行上采样处理，然后将其 输入到一个深度为3的网络结构去，联合了特征提取，非线性映射以及图像重 建三个部分，通过端到端的方式学习了LR-HR映射关系，开启了SR的研究热 潮。随后Dong又进一步提出了FSRCNN。因为SRCNN首先对LR图像插值然 后在超分重构，明显增加了网络计算量，因此FSRCNN直接将LR图像放到网 络中训练，最后在使用反卷积层对图像进行重构。这样使得网络可以输入未插 值的小图，又因为反卷积层位于网络末端，大大的减少网络计算量。同时网络 引入1×1降维和升维以及将5×5的卷积核分解成2个3×3的卷积核，这样一 来再次降低了网络计算量。之后的网络都使用这种方法来降低数据的运算量。 此后出现的ESPCN以为通过插值法上采样输入到网络会增加网络的运算量，而 使用反卷积会产生大量的计算冗余，在放大图像的同时也放大了噪声，影响重 建图像的质量。