[发明专利]一种提高视频空间分辨率的方法

摘要

本发明属于视频编辑技术领域，具体为一种提高视频空间分辨率的方法。视频超分是计算机视觉领域的一个重要分支，它利用视频每一帧内的局部关联信息以及相邻帧之间包含的相关信息来重构具有更高分辨率的视频。本发明方法不仅考虑当前帧内部像素的局部冗余信息，还结合前后相邻帧时间维度的关联性获得低分辨率视频中丢失的高频细节信息恢复原始视频帧的内容，达到了增强视频分辨率丰富细节纹理的效果。实验结果表明，本方法较好地实现了视频分辨率的提升，使得视频具有更加清晰的视觉质量、更丰富的内容及更高的研究应用价值。

主权项

1.一种提高视频空间分辨率的方法，其特征在于，具体步骤如下：（1）视频相邻帧之间运动补偿并融合多帧信息分别对视频序列中的每一帧视频，结合其相邻的4帧视频信息后单独做超分处理，以实现视频超分；设第n帧视频为In，首先对于视频插帧算法中的网络结构加以改进，用于执行视频超分过程中的相邻帧的运动补偿，即对于每一帧的超分：将该帧In与其前后各两帧：In‑2、In‑1、In+1、In+2合并为lr，lr={In‑2, In‑1, In, In+1, In+2}，作为网络的低分辨率输入；为每一个相邻帧分别计算8对在纵向和横向上的一维核{(v1，h1) 、(v2，h2)、... 、(v8，h8)}，v、h分别表示求出的垂直、水平方向的核；总共得到32对一维卷积核，记为：(vn‑2,1, hn‑2,1)、(vn‑2,2, hn‑2,2)、... 、(vn‑2,8, hn‑2,8) 、(vn‑1,1, hn‑1,1)、(vn‑1,2, hn‑1,2)、... 、(vn‑1,8, hn‑1,8) 、(vn‑1,1, hn‑1,1)、(vn‑1,2, hn‑1,2)、... 、(vn+1,8, hn+1,8) 、(vn+1,1, hn+1,1)、(vn+2,2, hn+2,2)、... 、(vn+2,8, hn+2,8)，其中，(vi,j，hi,j)表示为第i帧求出的第j对一维卷积核；得到32个一维核后，每对核分别与网络的输入lr进行卷积得到1个feature map，一共得到32个feature map：fn‑2,1、fn‑2,1、... 、fn‑2,1、fn‑1,1、fn‑1,2、... 、fn‑1,8、fn+1,1、fn+1,2、... 、fn+1,8、fn+2,1、fn‑2,2、... 、fn+2,8，其中，fi,j表示使用核(vi,j，hi,j)对lr进行卷积处理后得到的feature map；最后再将这些feature map与当前帧聚合起来作为网络此步的输出q：q={In, fn‑2,1,... ,fn‑2,1,fn‑1,1,... ,fn‑1,8,fn+1,1,... ,fn+1,8,fn+2,1,... ,fn+2,8}，并将其输入下一步网络中；这样同时实现了视频超分过程中相邻帧运动信息抵消和相邻帧图像的特征信息与当前帧图像融合；（2）重构当前帧将上一步得到的特征图与当前帧的合并结果q输入到单视频帧重构的网络中；这一步类似于图像超分的过程，首先对输入信号进行预处理，再将其经过一个基于gated highway unit的超分网络结构，执行若干次gated highway unit中定义的操作，得到当前帧的残差图，将上采样后的当前低分辨率帧与该残差图结合，得到网络最终输出的高分辨率视频帧。