[发明专利]基于帧率变换的高性能视频编码改进方法

说明书

本发明针对HEVC编码标准提供了一种结合帧率变换的高性能视频编码方法。主要包括在编码端对原视频进行自适应抽帧，降低传输数据量；低帧率视频通过HEVC编码，结合从码流中提取的参考帧运动矢量及帧内分块信息对丢失帧进行运动矢量估算，在解码端结合上述运动矢量通过改进的基于块覆盖的双向运动补偿插帧对丢失帧进行重建。本发明由于自适应抽帧减少了传输的数据量，节省了传输的带宽；又因为省去了对解码视频重新运动估计的过程，节约了大量时间；改进的基于块覆盖的双向运动补偿插帧保证了重建视频的质量。实验结果表明，本发明算法与HEVC标准编码相比，在中低码率端，保证重建视频PSNR接近一致的前提下，节省码率约15％，同时编码时间节省近40％。

技术领域

本发明涉及图像通信领域中的降低视频编码码率的问题，主要涉及一种高性能视频编码标准HEVC与视频帧率变换相结合来降低编码码率的方法。

背景技术

随着高清数字电视(HDTV)和高端多媒体系统的普及和发展，人们对于视频的主观享受要求也越来越高，这就对视频节目源的质量提出了更高的要求，节目源的质量越高，视频的数据量越多，传输所需的带宽也就越大。与此同时视频编码标准在不断更新，经过MPEG、H.264/AVC等视频编码标准的发展与完善，新一代视频编码标准HEVC也已经发布。并且与H.264/AVC相比，HEVC编码标准节约了近50％的编码码率，但是对于高清视频，传输数据量仍然很大。因此，在有限带宽下，如何在保证解码视频质量的前提下，减少传输数据量，实时传输编码码流，尽可能降低传输带宽的问题仍然是视频编码领域研究的热点。

视频压缩过程中运动信息对于视频重建至关重要。本发明基于帧率变换的HEVC改进视频压缩编码框架中，对于运动信息的获取以及运动信息后处理作出了改进。在标准的HEVC编码框架中，并没有对丢失帧部分的信息恢复做深入的研究，因而，找到一种高效的视频插帧恢复方法对于提高压缩效率有很大的意义。目前，学术界使用较为广泛的丢失帧恢复的方法多为对解码后低帧率视频进行重新运动估计，来获得插帧过程中使用的运动矢量，且也有一定效果。

帧率变换方法作为提高压缩率的技术，与标准HEVC编码相结合，可以有效降低编码码率。Sung-Hee Lee等人提出在编码端降低视频的帧率，以减少编码帧数，降低传输码流数据，然后在解码端插帧恢复成原始帧率的视频。传统的帧率提升技术分为两种：非运动补偿插帧和运动补偿插帧。非运动补偿插帧恢复过程中不考虑原视频中物体的运动信息，只是通过前一帧和当前帧两参考帧对应位置的像素值来恢复待插帧像素值，如帧重复法和帧平均法；运动补偿插帧则是考虑了场景中物体的运动，通过结合运动矢量信息和参考帧中像素值来重建待插帧，且该方法可以有效地降低帧重复法引入的抖动和帧平均法引入的模糊现象。Choi等人专门提出了适用于帧率上转换技术的双向运动补偿内插(BMCI),根据插帧过程中使用的运动矢量信息的来源不同，运动补偿插帧可以分为两种，一类是基于压缩域的，该方法通过从编码后的码流中提取相邻帧的运动矢量信息，用于运动补偿插帧，这样就省去了对编码后视频重新运动估计以获取运动矢量的过程，大大减少了计算量和时间；第二类是基于像素域，即对解码后的视频重新进行运动估计，再用获得的运动矢量信息进行插帧重建，与前者相比，第二种方法由于引进了运动估计过程，增加编码复杂度，所以会消耗大量的时间。尽管运动补偿插帧方法效果要明显优于非运动补偿方法，但是，传统的运动补偿插帧方法插帧重建后的视频会有空洞和块效应。

发明内容

为解决传统帧率提升过程重建帧中存在空洞和块效应的问题，改善视频压缩编码的性能提高重建视频质量，本发明提出了一种结合帧率变换的高性能视频压缩编码改进方法，在保证视频质量的前提下，降低了视频编码码率，在带宽受限的实时传输系统中具有较好的应用前景。

本发明的基本思想是在编码端对原视频进行自适应抽帧，对低帧率视频进行编解码，从码流信息中提取运动矢量信息及HEVC编码过程中特殊的帧内分块信息，在解码端，结合运动矢量对解码视频进行帧率上采恢复到原始帧率，从而达到减少编码帧数降低编码码率的目的。