[发明专利]一种轻量化的图像超分辨率重建网络和重建方法

说明书

本发明提供了一种轻量化的图像超分辨率重建网络和重建方法，使输入的低分辨率的图像转为输出的兼顾图像结构和人眼感知效果的高清图像；通过剪枝优化，使网络参数稀疏化，通过使用循环结构实现权重共享，通过使用深度可分离卷积与深度可分离反卷积在压缩网络的参数量的同时降低网络的计算量；通过基于KL距离的饱和量化截止算法，将网络的前向推理从浮点数运算转为定点数运算，提高网络的前向推理速度；在保证轻量化网络的精度水平即图像的超分辨率效果的同时降低了网络的计算量，提高了网络的前向推理速度。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种轻量化的图像超分辨率重建网络和重建方法。

背景技术

人类依靠图像等视觉信息载体获取的信息远高于依靠声音等相关载体获取的信息，图像分辨率是权衡图像内容含量表达的重要因素，图像超分辨率重建技术是一种能够有效提升图像分辨率的新兴技术。近年来，基于学习的图像超分辨率重建技术在精度上取得了很好地进展，然而如何解决基于学习的方法带来的参数量较大的问题，已经成为图像超分辨率技术在实际应用中的关键问题。

现有的关于加速图像超分辨率重建方法的专利有：

1)申请号为CN201811576216.7的中国发明专利《一种基于深度学习的快速图像超分辨率重建方法》，此发明采用较浅的网络结构，提升了网络的计算速度，采用嵌套网络提升网络的非线性表示，提升网络的重建效果；但这种方法由于网络卷积块较少，在放大倍数较大的图像时超分辨率重建效果较差。

2)申请号为：CN201910272182.0的中国发明专利《一种基于轻量化网络的超分辨率图像重建方法》，此发明设计的轻量高效的移动端神经卷积网络ShuffleNet unit结构改进了原有的增强深度超分辨率网络EDSR网络结构，同时使用网络剪枝、权值共享、霍夫曼编码对网络参数进行量化，极大压缩了网络参数量；但这一种方法在前向推理时每层的输入依然是浮点数的，对硬件的要求较高，不利于实际应用和推广。

发明内容

本发明要解决的技术问题是：提供一种轻量化的图像超分辨率重建网络和重建方法，用于保证轻量化网络的精度水平的同时减少参数量、提高计算速度。

本发明为解决上述技术问题所采取的技术方案为：一种轻量化的图像超分辨率重建网络，包括低分辨率特征提取模块、深度可分离循环模块和重建模块；低分辨率特征提取模块用于将输入图像从m数量通道转为n数量通道，m＜n，并提取特征送入深度可分离循环模块；深度可分离循环模块用于将收到图像循环运算T次以提取收到图像的低分辨率信息和高分辨率信息并送入重建模块；重建模块用于整合收到图像的通道数量为m，并反卷积为高分辨率图像；

按上述方案，深度可分离循环模块包括深度可分离卷积和深度可分离反卷积；深度可分离卷积与深度可分离反卷积的卷积核的大小与图像的放大倍数对应，2倍放大对应的卷积核为6x6，3倍放大对应的卷积核为7x7，4倍放大对应的卷积核为8x8。

进一步的，深度可分离卷积包括逐通道卷积和逐点卷积；深度可分离反卷积包括逐通道反卷积和逐点反卷积。

进一步的，深度可分离循环模块还包括1x1的卷积块；1x1的卷积块用于将输入的多通道图像的低分辨率特征和高分辨率特征转为r数量通道，m＜r＜n，再送入深度可分离卷积和深度可分离反卷积提取特征。

一种轻量化的图像超分辨率重建方法，包括以下步骤：

S1：构建包括低分辨率特征提取模块、深度可分离循环模块和重建模块的图像超分辨率重建网络；

S2：轻量化图像超分辨率重建网络；

S3：向轻量化的图像超分辨率重建网络输入测试低分辨率图像，通过一次前向传播计算生成高分辨率图像。

进一步的，所述的步骤S2中，具体步骤为：