[发明专利]一种视频超分辨率重建方法

说明书

本发明公布了一种视频超分辨率重建方法。主要包括以下步骤：设计并搭建一种视频超分辨率重建方法卷积神经网络模型，网络由浅层特征提取部分、深层特征提取部分、递归特征融合部分和重建部分组成；在视频数据集中构建训练样本对，训练搭建的卷积神经网络模型的参数，直到网络收敛；输入连续视频帧序列到训练好的网络模型中，得到超分辨率重建结果。本发明所述方法可以把低分辨率视频重建为高质量的高分辨率视频，是一种有效的视频超分辨率重建方法。

技术领域

本发明涉及图像超分辨率重建技术，具体涉及一种视频超分辨率方法，属于图像处理领域。

背景技术

超分辨率的目标是从观测到的低分辨率图像或视频中恢复出高分辨率图像或视频。在一些对图像或视频分辨率和细节要求较高的领域，如医学成像、到遥感成像和卫星检测等，都有着广泛的应用。近年来，随着显示技术的进步，新一代具有4K(3840×2160)和8K(7680×4320)分辨率的超高清电视正具有广阔的市场空间，但匹配如此高分辨率的内容仍然稀缺。因而，视频超分辨率正变得越来越重要。卷积神经网络由于其强大的拟合能力，在视频超分辨率领域取得了显著的进展。然而，现有的基于卷积神经网络的视频超分辨率方法，在网络结构和重建质量等方面仍有进一步提升空间。

发明内容

本发明的目的是利用卷积神经网络提取和融合具有丰富时空信息的特征，进而构建一种有效的视频超分辨率方法。

本发明提出的一种视频超分辨率重建方法，主要包括以下操作步骤：

(1)设计并搭建一种视频超分辨率重建方法卷积神经网络，网络由浅层特征提取部分、深层特征提取部分、递归特征融合部分和重建部分组成；

(2)在视频数据集中构建训练样本对，训练步骤(1)中搭建的卷积神经网络的参数，直到网络收敛；

(3)输入视频帧序列到步骤(2)中训练好的网络中，得到超分辨率重建结果。

附图说明

图1是本发明一种视频超分辨率重建方法的原理框图。

图2是本发明与另外四种方法对测试视频“calendar”超分辨率重建结果对比图。其中(a)是原始高分辨率图像，(b)是双三次插值的重建结果，(c)到(f)是方法1到4的重建结果，(g)是本发明的重建结果。

图3是本发明与另外四种方法对测试视频“city”超分辨率重建结果对比图。其中(a)是原始高分辨率图像，(b)是双三次插值的重建结果，(c)到(f)是方法1到4的重建结果，(g)是本发明的重建结果。

具体实施方式

下面结合附图对本发明作进一步说明：

图1中，一种视频超分辨率重建方法，包括以下步骤：

(1)设计并搭建一种视频超分辨率重建方法卷积神经网络，网络由浅层特征提取部分、深层特征提取部分、递归特征融合部分和重建部分组成；

(2)在视频数据集中构建训练样本对，训练步骤(1)中搭建的卷积神经网络模型的参数，直到网络收敛；

(3)输入连续视频帧序列到步骤(2)中训练好的网络模型中，得到超分辨率重建结果。

具体地，所述步骤(1)中，搭建的卷积神经网络模型结构如图1所示。

在浅层特征提取部分，我们用2N+1个卷积层对输入的视频帧分别进行特征提取。从第t+N个视频帧中提取的浅层特征F_t+N用公式表示如下：

F_t+N＝H_SFE(X_t+N)，      (1)