[发明专利]一种视频超分辨率重建方法

权利要求书

1.一种视频超分辨率重建方法，其特征在于包括以下步骤：

步骤一：设计并搭建一种视频超分辨率重建方法卷积神经网络，网络由浅层特征提取部分、深层特征提取部分、递归特征融合部分和重建部分组成；在浅层特征提取部分，用2N+1个卷积层对输入的视频帧分别进行特征提取；从第t+N个视频帧中提取的浅层特征F_t+N用公式表示如下：

F_t+N＝H_SFE(X_t+N)，          (1)

其中，X_t+N是输入的第t+N个视频帧，H_SFE(·)表示浅层特征提取部分；通过浅层特征提取，得到浅层特征的集合{F_t-N,...,F_t,...,F_t+N}；

在深层特征提取部分，用2N+1个增强深层特征提取模块进行进一步的特征提取；提取的第t+N个视频帧的深层特征用公式表示如下：

其中，H_DFE(·)表示深层特征提取部分；每个视频帧对应一个增强深层特征提取模块，每个增强深层特征提取模块的输入为对应视频帧中提取的浅层特征以及目标帧中提取的浅层特征；增强深层特征提取模块同时利用了帧内帧间的时间信息，增强了提取的深层特征的表示能力；具体地，在第t+N个增强深层特征提取模块中，首先将第t+N个视频帧F_t+N和目标帧F_t和在通道维度上级联起来，接着使用卷积层来获得时间融合特征时间融合特征包含了第t+N视频帧和目标帧之间的时间信息；所得到的时间融合特征可以用公式表示如下：

其中，H_TF(·)是一个瓶颈卷积层，[·]是一个级联操作；然后，将F_t+N和在通道维度上级联起来；级联特征包含两种信息：帧内的空间信息以及第t+N个视频帧和目标帧之间的时间信息；最后进一步从帧内时间信息和帧间空间信息中提取得到的第t+N个视频帧的深层特征

其中，H_EH(·)是一个瓶颈卷积层；通过深层特征提取，得到深层特征的集合

递归特征融合部分包含了一个瓶颈卷积层和U个递归单元；为了控制模型参数，B个残差上下采样块构成一个递归单元，各个递归单元之间参数共享；递归学习可以在不添加额外参数的前提下，通过增加递归单元的个数来提高网络性能；残差上下采样块采用上下采样层作为残差块的残差分支，上下采样层能够发现高低分辨率之间的相互依赖关系，从而更好地融合特征；具体地，在每个残差上下采样块中，上采样采用反卷积层，下采样采用卷积层；反卷积层与卷积层的步长与放大倍数相同；第u个递归单元中的第b个残差上下采样块的输出F^u,b为：

F^u,b＝H_↓(H_↑(F^u,b-1))+F^u,b-1，          (5)

其中，F^u,b和F^u,b-1分别是第b个残差上下采样块的输出和输入，H_↑(·)和H_↓(·)分别是上采样层和下采样层；通过递归融合，得到融合的特征F_RFF：

其中，H_RFF(·)表示递归融合部分；

重建部分包含了一个上采样层和两个卷积层；在重建部分引入了一个长跳连接，使得网络能够进行全局残差学习，以减轻训练的困难；因为目标是重建目标帧，所以使用F_t作为残差学习中的恒等映射分支；通过重建，得到重建的目标帧Y_t：

Y_t＝H_R(F_RFF+F_t)，                (7)

其中，H_R(·)表示重建部分；

步骤二：在视频数据集中构建训练样本对，训练步骤一中搭建的卷积神经网络模型的参数，直到网络收敛；

步骤三：输入连续视频帧序列到步骤二中训练好的网络模型中，得到超分辨率重建结果。