[发明专利]一种基于重建优化和深度神经网络的超分辨率实现方法

说明书

本发明公开了一种基于重建优化和深度神经网络的超分辨率实现方法。该方法的具体步骤如下：(1)通过降采样方法，建立高分辨率图像与下采样图像之间的关系；通过最小二乘法建立目标函数：(2)利用共轭梯度下降算法对目标函数进行迭代优化，得到一张基于重建优化算法的高分辨率图像；(3)建立并训练完成一个三层全卷积神经网络；(4)将步骤(2)得到的高分辨率图像输入三层全卷积神经网络中，进一步提高图像的分辨率。利用本发明方法无论是在主观评测还是客观图像质量评价方面，都能取得很好的成果。

技术领域

本发明涉及计算摄像学领域，尤其涉及一种基于重建优化和深度神经网络的超分辨率实现方法。

背景技术

图像超分辨率技术旨在从一张(单帧超分辨率)或一系列(多帧超分辨率)低分辨率图像中恢复出具有更多高频细节的高分辨率图像。现有的实现图像超分辨率的算法主要分为两大类：基于重建的方法和基于学习的方法。

基于重建的算法通过模拟下采样的逆过程，从一系列互相具有亚像素偏移的低分辨图像中重建出一张高分辨率图像。然而，这种基于重建的方法因为缺少图像的高频细节信息，所以其求解过程实质上是一个病态过程。通过在目标函数中引入正则化项，如一范数或二范数等，可以在一定程度上解决这个问题。从理论上讲，添加L1范数或L2范数正则化项相当于在目标函数中加入了拉普拉斯分布和高斯分布的先验信息。

基于学习的算法是通过学习图像的内部信息(即图像的相似性)或外部信息(即学习高低分辨率图像对之间的映射函数)来进行重建。目前，基于深度学习的算法在图像超分辨问题上有不错的视觉效果。然而尽管如此，但这些基于学习的方法是根据低分辨率输入图像和学习到的映射函数来直接对丢失的高频细节进行推测，这将很可能会导致错误的结果，即与真实的图像信息不符。

发明内容

针对以上现有方法中存在的缺陷，本发明的目的在于提出一种创新的多帧超分辨率实现方法，该方法通过将基于重建的优化技术和三层全卷积神经网络级联，能够恢复出一张性能优异的高分辨率图像。

为达上述目的，本发明采用的技术方案如下：

一种基于重建优化和深度神经网络的超分辨率实现方法，包括如下步骤：

步骤1，通过降采样方法，建立高分辨率图像与下采样图像之间的关系；

其中X代表高分辨率图像，表示下采样矩阵，表示经过下采样之后的低分辨率图像，s代表放大系数并且s＝4，s²表示重建所需要的图像数量；

将多张低分辨率图像作为已知量，通过最小二乘法建立目标函数并引入一个辅助求解的变量Q：

其中，β是正则化项的权重系数，θ是辅助项的权重系数；

步骤2，将目标函数中的Q值初始值设置为0，只迭代收敛目标函数中的X变量，目标函数写成：

利用共轭梯度算法对目标函数进行收敛，直至找到目前最优的X值；

步骤3，将目标函数中的X值取步骤2优化后的值，然后只优化目标函数中Q值的大小，目标函数变为：

通过特征收敛Lasso回归模型，得到目前最优的Q值，然后作为步骤2目标函数中Q值的取值；

步骤4，反复执行步骤2和步骤3，迭代优化目标函数中的X值和Q值，直到得到的X值趋于收敛时，停止迭代，此时的X值即为基于重建算法的最优重建结果，得到一张基于重建优化算法的高分辨率图像；