[发明专利]基于深度注意力网络的单幅图像超分辨率重建方法及系统

说明书

本发明公开一种基于深度注意力网络的单幅图像超分辨率重建方法及系统，包括：步骤1：对开源图像训练数据集DIV2K进行预处理，获得训练集；步骤2：建立能够对图像进行超分辨率重建的卷积神经网络；步骤3：将步骤1获得的训练训练集输入步骤2建立的卷积神经网络进行训练，得到超分辨率重建模型；步骤4：将待处理的低分辨率单幅图像输入步骤3获得的超分辨率重建模型，输出单幅图像超分辨率重建图像。利用多个常用测试数据集来对最终训练好的模型进行峰值信噪比和结构相似性的计算，本发明利用深度学习的方法设计的近200层卷积层的网络可以实现和400层左右的网络相当的性能，并且参数量更少，训练更容易，并且超分处理后的图像更加清晰。

技术领域

本发明属于计算机数字图像处理与计算机视觉技术领域，特别涉及一种基于深度注意力网络的单幅图像超分辨率重建方法及系统。

背景技术

随着数字化、信息化的全面普及与应用，近些年来不断涌现的许多新的概念和新的应用。人脸检测、人脸识别、监控视频、相机美颜、人脸解锁等已经成为人们日常生活中很重要的一部分。图像分辨率泛指成像或显示系统对细节的分辨能力，代表图像中的存储的信息量。一般情况下，图像分辨率越高，图像中包含的细节越多，信息量也越大。图像分辨率分为空间分辨率和时间分辨率。通常，分辨率被表示成每一个方向上的像素数量。但是，分辨率的高低并不等同于像素数量的多少，例如一个通过插值放大了3倍的图像并不表示它包含的细节增加了多少。图像超分辨重建关注的是恢复图像中丢失的细节，即高频细节。如今，电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS)是最广泛使用的图像传感器。提高图像分辨率的直接方法是在感光靶片生产过程中尽量减少成像像素的尺寸大小，提高单位面积上的像素个数。但是这种方法有弊端，此方法的缺点是使每个像素上接收的光量减少，容易产生噪点而降低图像的质量。另外，目前的工艺基本上也达到了像素尺寸大小的限制(如CMOS 0.35微米大小)。提高图像分辨率的另一种方法是在固定像素尺寸大小的基础上增加感光靶片大小，从而增加靶片的容量。而这样的处理方式将直接降低靶片成像数据的输出速度，导致后续图像处理中产生问题。而为了避免此问题，常常需要高精度的光学系统和特定的感光靶片。

但是由于传感器和光学制造技术的局限性，减小像素尺寸以及增加焦距或芯片尺寸的方法都不被认为是有效的方法。由于提高图像采集的质量对图像采集的硬件条件要求高，这样会带来过大的成本代价，并且在图像信息的传输过程中，图像质量的保持需要较大的带宽，因此从图像采集环节直接通过硬件设备提高图像分辨率成本极高。

J.L.Harris和J.W.Goodman一起提出的基于单帧图像的Harris-Goodman频谱外推法是最早的超分辨率图像处理的方法。随后，Tsai与Huang提出了基于序列或多帧图像的超分辨率重建问题，并给出了基于频域逼近的重建图像方法。在这之后，学者们相继提出了极大后验概率估计法、凸集投影法、反向投影迭代法和自适应滤波等具有价值的方法。

目前，国内外对超分辨率的研究较突出的有：美国加州大学多维信号处理研究小组的PeymanMilanfar等提出了大量实用算法和集成各种算法的超分辨率图像恢复软件包；美国Dayton大学和Wright实验室对红外CCD相机进行了机载实验，利用20幅低分辨率的红外图像取得了分辨率提高近5倍的实验结果。中国香港R.F.Chars等研究了超分辨率图像恢复的有效预处理共轭梯度迭代算法。以色列耶鲁撒冷大学M.Elad等对存在任意运动的图像序列，以及动态的和彩色的多媒体等超分辨率恢复进行了研究。以色列的EROS-A卫星利用“过采样”技术使影像的分辨率提高一倍以上。印度S.Chaudhuri等研究了迭代的超分辨率图像恢复方法。韩国Pohang理工大学在各向异性扩散用于超分辨率方法进行了研究。国内近几年在频谱外推、混叠效应的消除、无损检测、成像探测元的阵列改进以及一些超分辨率方法的改进方面也做过类似研究。