[发明专利]基于关键帧指导超分辨率的视频压缩方法及装置

说明书

本发明公开了一种基于关键帧指导超分辨率的视频压缩方法及装置，其中，方法包括：将输入视频以帧序列的形式输入到关键帧选取网络，得到输入视频的高分辨率关键帧；将输入视频以帧序列进行下采样得到输入视频的低分辨率帧序列；将高分辨率关键帧和低分辨率帧序列输入到生成器中，生成超分辨率视频。该方法对高清的输入视频进行下采样后进行压缩，同时从中选择出关键帧在视频解压后用作视频超分辨率的指导，既达到高度的视频压缩，又能从中恢复出高质量的视频。

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于关键帧指导超分辨率的视频压缩方法及装置。

背景技术

近年来，视频处理技术已经有了长足的发展，例如两个计算机视觉中的基础问题，视频压缩技术和视频超分辨率技术。视频压缩可以让个人计算机中的存储效率更高，也让在线视频浏览成为可能，视频超分辨率技术则在卫星图像、监控、高清电视等应用中具有重要价值。

最近很多视频压缩的行业标准已经被全世界认可，比如MPEG-4，H.264/AVC，和HEVC等等。但这些方法都需要在重建损失和压缩率之间进行权衡，并且在大的压缩率时视频质量会大大下降。我们都知道在编码之前对视频进行下采样，再在解码之后将视频上采样会在大压缩率时提高压缩方法的性能，但是如果没有好的上采样方法的话就无法达到好的解压缩视频。因此，对于视频压缩问题，在大规模降低存储空间的同时保持视频的质量是一个难以解决的问题。与此同时，随着深度神经网络的发展，单一图片的超分辨率[4,5,6]已经在过去几年有了很好的突破，基于此，很多视频超分辨率方法[7,8,9]也在近几年被接连提出，其中每一帧的重建可以看成多个单一图片超分辨率问题的结合。除此之外，帧与帧之间的运动信息也被很多方法发掘，用来寻找帧间像素对或区块对的时域关系。但是不管单一图片超分辨率还是视频超分辨率，两个问题都是高度病态的，因为作为下采样的逆过程，超分辨率问题需要从一个像素恢复出多个像素，为输入低分辨率图片提供未知的细节信息，这是不可解的问题。因此超分辨率方法的性能严重地依赖于数据分布，这也是超分辨率问题的一个重要瓶颈。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于关键帧指导超分辨率的视频压缩方法，该方法可以达到高度的视频压缩，又能从中恢复出高质量的视频。

本发明的另一个目的在于提出一种基于关键帧指导超分辨率的视频压缩装置。

为达到上述目的，本发明一方面实施例提出了一种基于关键帧指导超分辨率的视频压缩方法，包括：

将输入视频以帧序列的形式输入到关键帧选取网络，得到所述输入视频的高分辨率关键帧；

将所述输入视频以帧序列进行下采样得到所述输入视频的低分辨率帧序列；

将所述高分辨率关键帧和所述低分辨率帧序列输入到生成器中，生成超分辨率视频。

为达到上述目的，本发明另一方面实施例提出了一种基于关键帧指导超分辨率的视频压缩装置，包括：

选取模块，用于将输入视频以帧序列的形式输入到关键帧选取网络，得到所述输入视频的高分辨率关键帧；

压缩模块，用于将所述输入视频以帧序列进行下采样得到所述输入视频的低分辨率帧序列；

解压模块，用于将所述高分辨率关键帧和所述低分辨率帧序列输入到生成器中，生成超分辨率视频。

本发明实施例的基于关键帧指导超分辨率的视频压缩方法及装置，具有如下优势：通过对高清的输入视频进行下采样后进行压缩，同时从中选择出关键帧在视频解压后用作视频超分辨率的指导，从而既达到高度的视频压缩，又能从中恢复出高质量的视频。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。