[发明专利]一种基于光流和块匹配的DVC边信息融合方法

说明书

本发明提供了一种基于光流和块匹配的DVC边信息融合方法，主要涉及解码端WZ帧边信息生成方案。由于传统的块匹配边信息生成方案对于运动较为平缓的视频序列来说可以获得较好的编码质量，但当视频图像运动较为剧烈或视频图像组较大时，块匹配算法难以获得一个较高的边信息质量，而光流可以很好的表示视频序列之间的运动信息，因此本发明方法提出了一种基于光流和块匹配的边信息融合算法，实验结果表明，本发明的方法可以获得较传统的块匹配算法更高的边信息质量，提升了系统的整体率失真性能。

技术领域

本发明涉及图像通信领域中的视频编码技术问题，尤其是涉及一种分布式视频编码(DVC)中的边信息质量提升技术。

背景技术

近年来，随着数字通信、多媒体技术和无线通信等高科技技术的快速发展，人们对视频质量的要求也越来越高，如：无线传感器网络、视频会议、无线监控视频、智能手机等。相比较于单一的音频及文本信息，视频图像可以提供更为直观丰富的视觉信息，但是拥有庞大数据量的视频图像对视频压缩编码系统也带来了一定的挑战。对于新型的移动设备终端而言，其普遍特点是在计算能力、存储容量和功耗等方面受限。分布式视频编码(Distributed Video Coding，DVC)具有编码复杂度低，抗误码性高等特点，它采用独立编码、联合解码的方式，在解码端挖掘帧间以及多信源间的相关性，从而将复杂的运动补偿和运动估计从编码端移到了解码端，降低了编码端的复杂度，这些特点为编码端低计算能力、无线传输可靠性差的视频应用提供了新的有效解决方案。

在DVC中，视频序列被交替分为Wyner-Ziv帧(WZ帧)和关键帧(K帧)，K帧采用的是传统的帧内独立编解码方式，可以用来辅助WZ帧边信息的生成。生成的边信息质量好坏对于整个系统的率失真性能起着决定性的作用。传统的边信息生成方法有如下几种：关键帧复制法、关键帧平均法、运动补偿外推法和运动补偿内插法。这些传统的边信息生成方案对于运动较为平缓的视频序列来说可以获得较好的编码质量，但当视频图像运动较为剧烈或视频图像组(Group of Picture,GOP)较大时，这些方法都难以获得一个较高的边信息质量。

本发明使用的DVC编码框架为基于运动学习的Wyner-Ziv视频编码框架(MotionLearning-based transform domain Wyner-Ziv,MLWZ)，MLWZ方案是在斯坦福大学提出的基于DCT域的Wyner-Ziv编码方案基础上，对相应的模块进行了优化处理，其思想是通过逐个频带的解码信息以及当前块邻域的运动矢量来逐步更新学习，因此可以在一定程度上可以得到更高质量的边信息。然而基于运动学习的MLWZ框架的初始边信息生成方案采用的是基于块匹配的运动补偿内插算法，当视频序列运动较为剧烈或GOP较大时，该方法难以获得一个理想的边信息质量，另一方面，边信息的逐步更新和优化是在初始边信息的基础上进行的，系统的初始边信息质量越高，整个系统最终的编码性能将越好。因此本发明在MLWZ框架的基础上，利用视频帧间生成的光流信息，提升MLWZ解码端初始边信息的质量，以此进一步的提高DVC系统的整体率失真性能。

发明内容

在DVC中，WZ帧的边信息可以被认为是解码端获得的对当前待解码WZ帧的一种预测，边信息与原始的WZ帧越相似，编码端需要发送到解码端的校验比特位就越少，系统的码率就越低，编码性能就越高。因此，在DVC中，边信息对于整个编码系统的性能来说具有决定性的作用。

为了方便说明，首先引入光流概念：

在计算机视觉及图像处理领域，常用光流来表达图像之间的变化及运动情况，光流的概念是由James J.Gibson在20世纪40年代首次提出的，对于一个视频序列而言，光流代表的就是视频中每张图像的各个像素的运动速度和运动方向，如图1所示为根据视频序列Foreman中第1帧和第2帧生成的光流示意图。当视频序列运动剧烈时，光流也可以很好的表示出图像之间的运动信息，可以有效弥补块匹配算法在视频序列运动较为剧烈时边信息质量下降的问题。目前常用的光流算法已经比较成熟，本发明使用基于深度卷积神经网络的FlowNet 2.0框架来生成光流信息，一种基于光流和块匹配的DVC边信息融合方法具体步骤如下：