[发明专利]一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法

说明书

本发明公开一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法，包括以下步骤：图像预处理、图像特征提取和图像重建，在图像特征提取步骤中，采用了多个MSB模块，图像在MSB模块中，采用含有不同大小卷积核的卷积层分别进行特征提取，再采用密集连接的方式进行特征重复学习，在模型中设计了监督层误差函数，用以辅助和修正模型的重建误差。本发明实现了对提取的特征图在不同尺度上处理，增强了模型的适应性；实现了信息的多通道传播，加快了收敛速度，缓解了梯度消失现象；添加辅助监督误差函数，增强了梯度的反向传播，提供额外的正则化，有效地解决了传统算法中存在的梯度消失问题，提高了算法的精度。

技术领域

本发明属于图像处理技术领域，特别涉及一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法。

背景技术

随着数字多媒体技术的快速发展，数字图像成为信息传达的重要表现形式。图像分辨率的高低、携带有用信息量的多少直接关系到人们对信息认知程度的深浅，这使得人们对图像和视频质量的要求越来越高。然而，在实际获取数字图像的过程中，往往会受到诸多因素的影响而导致获取的图像质量下降，例如成像系统内外各种噪声，再加上一些特殊场合需要对数据进行传输、保存、下采样或者压缩，使图像的分辨率及质量进一步恶化，导致人们获取的有价值的图像细节信息大大减少。所以如何有效地提高图像的分辨率及质量以满足应用需求是需要解决的一个问题。

一般地，可通过提高硬件性能来提升图像的分辨率，方式有两种：一是通过制造工艺的更新换代，例如增大CCD或CMOS传感器上传感元件的密度；二是通过扩大成像芯片的尺寸来增大传感元件的绝对数目。但这两种方式都存在着瓶颈，第一种方法无法无限制地减小传感元件的尺寸，因为传感元件尺寸过小会导致散粒噪声效应，从而抵消由传感元件密度增大获得的分辨率提升效果；第二种方式会造成电容增大和电荷传输率下降，这反而又限制了分辨率的进一步提升。而且从商业角度考虑，市场上高精度光学设备和高质量的传感器价格较高，大大增加了企业的生产成本。所以，通过改善硬件性能来提升图像分辨率的途径存在提升空间有限、成本高、易受环境因素制约的缺陷，不能很好地适应当前应用的发展趋势。

为了打破在硬件方面的局限，国内外的许多研究学者从算法入手来提高图像的分辨率。图像超分辨率重建是由单帧或多帧低分辨率(Low Resolution，LR)图像重构具有良好视觉效果和更加接近真实图像的高分辨率(High Resolution，HR)图像或序列的技术。

目前，图像的超分辨率重建算法可以分为三类：基于插值的超分辨率算法、基于重建的超分辨率算法以及基于学习的超分辨率算法。基于学习的超分辨率重建算法可获得相对较好的重建效果，已经成为当前超分辨率重建研究的热点，但传统的基于学习的超分辨率重建算法在特征提取与表达能力有限，导致重建得到的图像效果不佳，不能满足人们对高质量图像的要求。

近年来，深度学习在图像、语音、文本等数据上的成功应用引起了学术界和工业界的广泛关注，与其它传统的基于学习的算法相比，它端到端的训练模式和超强的特征提取与学习能力有很大的优越性，因此，越来越多的国内外学者将深度学习应用到图像超分辨率重建研究中。其中基于卷积神经网络的图像超分辨率重建算法取得了良好的重建性能，但经典的基于深度卷积神经网络的图像超分辨率重建算法(Image Super-ResolutionUsing Deep Convolutional Networks，SRCNN)存在网络层较少、感受野小、模型泛化能力差等缺陷。

SRCNN算法分析：

该算法的重建过程分为图像特征提取、非线性映射和图像重建三个步骤，将三个步骤统一到一个卷积神经网络模型中，实现了从低分辨率图像到高分辨率图像之间的端到端学习。SRCNN算法的模型结构如图1所示。

SRCNN算法所有的操作都是由卷积层实现。图中ILR代表上采样后的低分辨率图像，HR代表重建的高分辨率图像。每一层卷积层描述如下。