[发明专利]一种基于多尺度标签的亚像素卷积图像超分辨率重建方法

说明书

本发明公开了一种基于多尺度标签的亚像素卷积图像超分辨率重建方法，包括：建立并训练一个由特征提取结构、残差模块、上采样结构、特征重建结构以及跨尺度跳跃连接结构组成的基于多尺度标签的亚像素卷积网络,并使用该网络完成图像的超分辨率重建工作。将输入图像由RGB颜色空间转换到YCbCr颜色空间。其中，Cb、Cr两个通道使用双三次插值上采样的方法完成超分辨率重建工作。Y通道送入到训练好的网络中，输出Y通道的超分辨率重建图像。融合Y、Cb、Cr通道的超分辨率重建图像，得到最终的高分辨率图像。本发明可以快速准确地得到超分辨率图像，得到的超分辨率图像无论是在主观评测还是在客观图像质量评价方面，都能取得很好的效果。

技术领域

本发明属于数字图像处理、深度学习以及模式识别的交叉领域，更具体地，涉及一种基于多尺度标签的亚像素卷积图像超分辨率重建方法。

背景技术

提高图像的分辨率在数字图像处理相关领域具有十分重要的意义。然而获取图像分辨率大小与获取图像的设施有密切的关系，其中图像传感器的参数和光学制造技术决定了图像的分辨率大小，通过提高图像设备硬件水平会带来巨大的经济成本。获取图像质量还受到拍摄环境距离等不可控因素的影响，通过提高拍摄的硬件水平以及改善拍摄的环境方式来解决图像分辨率问题的能力有限。

除了通过硬件方式提高图像分辨率，还可以在获取数字图像之后，再将低分辨率图像使用算法重建出其对应的高分辨率图像。超分辨率技术优势在于摆脱了图像获取设备的硬件条件限制，可以使用软件的方法重建高分辨率图像。超分辨率技术本质上是对图像高频信息的预测，由于深度卷积网络结构的特殊性，其在信息预测方面具有天然的优势，得到的高分辨率图像具有不错的视觉效果。传统的深度卷积网络虽然可以完成超分辨率的重建工作，但存在单一标签监督而导致的预测结果与真实图像信息不符，网络结构过于复杂，计算速度慢等问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于多尺度标签的亚像素卷积图像超分辨率重建方法，由此解决现有技术对图像高频信息预测准确率不高，网络结构复杂，计算速度慢的问题。

本发明提供了一种基于多尺度标签的亚像素卷积图像超分辨率重建方法，其特征在于，包括如下步骤：

(1)对输入低分辨率图像进行通道分解后获得Y通道图像、Cb通道图像和Cr通道图像；

(2)分别对所述Cb通道图像和所述Cr通道图像进行重建后获得Cb通道重建高分辨率图像和Cr通道重建高分辨率图像；

(3)使用训练好的基于多尺度标签的亚像素卷积网络实现对所述Y通道图像的超分辨率重建；

(4)对Cb通道重建高分辨率图像、Cr通道重建高分辨率图像以及重建后的Y通道图像进行融合处理，获得基于多尺度标签的亚像素卷积图像超分辨率图像。

更进一步地，步骤(3)具体为：

(3.1)对Y通道图像进行特征提取后获得初级特征图；

(3.2)对初级特征图进一步提取图像特征得到高级特征图；

(3.3)对高级特征图进行上采样处理；

(3.4)对经过上采样处理后的高级特征图进行重建，得到2倍超分辨率重建结果；

(3.5)对分辨率提升一倍后的高级特征图进行残差模块处理后获得高级残差特征图；

(3.6)使用256个大小为(2n-1)×(2n-1)的卷积模板对步骤(3.1)得到的初级特征图进行卷积操作，得到具有256个通道的特征图；将具有256个通道的特征图进行亚像素卷积处理，即对256个通道进行特征重排，得到具有64个通道的特征图，该特征图长宽各扩大一倍，特征图分辨率提升2倍；