[发明专利]一种基于深度卷积神经网络的单幅图像超分辨率重建方法

说明书

本发明公开了一种基于深度卷积神经网络的单幅图像超分辨率重建方法，包括以下步骤：1：预处理；把输入图像从RGB颜色空间转换到YCbCr颜色空间，并且只取其中的Y通道；2：将步骤1的预处理后的图像进行下采样，然后分两个通道进行插值，形成通道1和通道2训练数据；3：从步骤1的预处理后的图像密集提取小块，结果作为标签；4：将通道1和通道2的训练数据合并作为深度卷积神经网络模型输入，将标签作为深度卷积神经网络模型的输出，利用梯度下降法和反向传导算法不断优化网络模型；5：输入低分辨率图像，经过双通道插值后利用训练好的深度卷积神经网络输出高分辨率图像。具有轻量的结构和很好的恢复质量等优点。

技术领域

本发明涉及图像超分辨率重建技术，具体涉及一种基于深度卷积神经网络的单幅图像超分辨率重建方法，属于数字图像处理领域。

背景技术

因为摄像硬件设备限制或者摄像条件等影响，会导致图像质量低下、边缘不明显。单方面地提高硬件设备的成像精度会增加产品的成本，而且也不能彻底解决成像环境的干扰。超分辨率重建技术的提出无疑是解决这一难题的最佳途径，既能合理避免因改进成像系统造成的浪费，又能有效提高图像质量。

基于稀疏编码的方法是基于外部样本的图像超分辨率重建的代表性方法之一。该方法涉及几个步骤。从图像中密集地提取小块并进行预处理；将这些小块用低分辨率字典进行编码；将低分辨率字典映射为高分辨率字典，用于重建高分辨率小块；重建的小块被聚集(或平均)以产生输出。基于稀疏编码的方法需要对输入数据进行大量预处理，特别注意字典的学习和优化，并且每个步骤都需要逐一优化，没有把全部步骤当成一个完整的框架统一优化，可能面临结构复杂并且计算速度慢的挑战。

近年来，由于机器学习与深度学习的飞速发展，基于学习的超分辨率重建方法取得较大进步。基于深度学习的超分辨率方法相比于传统的基于学习的超分辨率方法，具有结构简单，速度快的优点，且由于在训练阶段，基于深度学习的方法同时优化了所有操作，并且基于深度学习的方法重建出来的高分辨率图像在质量上要优于传统的基于学习的方法。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于深度卷积神经网络的单幅图像超分辨率重建方法，该方法直接学习低分辨率和高分辨率图像之间的端对端映射，映射表示为一个深度卷积神经网络，将低分辨率图像作为输入，并输出高分辨率图像。

本发明将深度学习应用到单图像超分辨重建方法中，采用双通道分别进行三层的深度神经网络的训练，运用梯度下降法和反向传导算法不断优化网络，再用优化的网络重建出高分辨率图像。

本发明的目的可以通过以下技术方案实现：一种基于深度卷积神经网络的单幅图像超分辨率重建方法，包括以下步骤：

步骤1：预处理步骤：把输入图像从RGB颜色空间转换到YCbCr颜色空间，并且只取其中的Y通道，也就是亮度通道；

步骤2：将步骤1的预处理后的图像进行下采样，然后分两个通道进行插值，形成通道1和通道2训练数据；

步骤3：从步骤1的预处理后的图像密集提取小块，结果作为标签；

步骤4：将步骤2的通道1和通道2的训练数据合并作为深度卷积神经网络模型输入，将步骤3的标签作为深度卷积神经网络模型的输出，利用梯度下降法和反向传导算法不断优化网络模型。

步骤5：输入低分辨率图像，经过双通道插值后利用本发明训练好的深度卷积神经网络输出高分辨率图像。

步骤2所述的预处理图像进行下采样后，分两个通道进行插值，通道1进行双三次插值，然后密集提取小块，将这些小块作为通道1训练数据；通道2进行最近邻插值，结果与通道1的双三次插值结果相乘作为掩码，然后密集提取小块，将这些小块作为通道2训练数据；