[发明专利]基于渐进式卷积测量网络的图像重构方法及装置

说明书

本发明提供一种基于渐进式卷积测量网络的图像重构方法和装置，属于图像重构技术领域。该方法首先通过多个下采样层对原始图像进行渐进式卷积运算，再通过下采样特征提取层生成满足给定的测量率下的对应数量的特征图；然后通过与所述多个下采样层相对应的多个上采样层对所述特征图进行渐进式反卷积运算，再通过上采样特征提取层生成与所述原始图像大小一致的初步重构图像；最后利用残差卷积神经网络对所述初步重构图像进行质量优化训练，获取最终特征图，通过对最终特征图与原始图像进行误差处理，获取最终优化的重构图像。本发明中图像被端到端地采样和重构，重构速度快，尤其在极低测量率下，消除了重构图像中的块效应，图像质量得到明显的提高。

技术领域

本发明涉及图像重构技术领域，具体涉及一种基于渐进式卷积测量网络的图像重构方法及装置。

背景技术

压缩感知(Compressive Sensing,CS)作为一种新型的数据压缩技术，受到了人们的广泛关注。利用比Nyquist采样定理要求的更少的测量值，CS理论证明了当信号在某些特定的情况下表现稀疏性时，它是很有可能被完整地重构的。在数学上，CS重构的目标是从CS测量值Y＝ΦX∈R^M×1中推断出原始信号X∈R^N×1。这里，Φ∈R^M×N是一个线性随机矩阵。随机高斯矩阵是常用的测量矩阵，这是因为我们必须保证矩阵稀疏域的基与测量完全不一致。因为M＜＜N，则这个逆问题通常是不适定的，在这里CS的测量速率(Measurement Rate,MR)被定义为

在传统的CS算法中，原始信号通常被分成块，进而利用随机矩阵进行测量，并且通过优化算法进行重建恢复。常见的重建方法有凸优化算法，贪婪算法和迭代算法。这些方法具有收敛性强、收敛速度快等优点。然而，他们需要高计算量，面临着优化变换和调节参数的困难挑战。这些问题已经成为图像压缩感知实际应用中的瓶颈。此外,这些传统的方法通常要求较高的测量速率。

在强大的深度学习能力的推动下，基于深度学习的CS图像重建算法被提出。Mousavi,Patel和Baraniuk首次利用堆叠去噪自编码器(Stacked DenoisingAutoencoders,SDA)从抽样测量中恢复信号。卷积神经网络(Convolutional NeuralNetwork,CNN)最近被应用于从CS测量域到原测量域中直接学习逆向映射。ReconNet首先将CNN引入CS图像重构，其中使用随机高斯矩阵生成测量值。DR2-Net和CSRNet将残差卷积神经网络引入压缩感知图像重构中，其中残差网络能加快损失函数的收敛，保留更多的原始信息。结合传统优化方法的结构收敛强度和CNN方法的高计算速度，ISTA-Net和改进的ISTA-Net+被提出，这种方法适用于更广范围的CS测量率。

无论是传统的基于优化的算法还是基于CNN的算法中，原始信号通常由一个固定的随机矩阵进行测量。为了在采样中保存更多的原始信号信息，一些自适应的测量方法被提出。比如ASRNet将每个原始图像块利用全连接层转换为一个测量向量。这里的全连通层被视为自适应的测量矩阵。这种基于学习的测量方法相较于传统的测量方法，可以提取更多的信息。这些自适应的测量算法允许测量模块和重构模块一同进行训练学习。这种基于学习的测量方法可以在PSNR方面实现较好的性能。然而,全连接层只能测量固定大小的图像，这导致了训练好的网络模型不能灵活地测试各种大小的图像。

上面提到的所有基于CNN的方法中，输入图像都被划分成块，再进一步转换成一维向量。这些方法虽然降低了计算量，但是严重损坏了原始图像的结构信息，导致块效应，使重构图像在块的边界出现不连续，造成重构图像的明显缺陷。

发明内容

本发明的目的在于提供一种基于渐进式卷积测量网络的图像重构方法，以解决上述背景技术中存在的现有的图像重构方法只能测试固定大小图像、重构图像存在块效应的技术问题。

为了实现上述目的，本发明采取了如下技术方案：