[发明专利]视频帧的错误隐藏方法及应用其的视频解码方法

说明书

技术领域

本发明涉及多媒体通信技术领域，尤其涉及一种视频帧错误隐藏方法及应用其的视频解码方法。

背景技术

近年来，随着多媒体通信的发展，基于多媒体通信的各种应用也得到迅猛发展，例如数字电视广播、远程监控、数字视频点播(VoD)、无线多媒体通信等。随着网络的发展，视频业务占据了主流，同时人们对于视频分辨率的要求逐步提高，高清视频已经越来越受到人们的欢迎，然而视频业务的数据量巨大，给网络也带来了巨大的压力。因此，视频编码与传输技术的发展与需求也不断提高。如何对越来越大的视频数据进行编码压缩，以及传输过程中遇到丢包后如何恢复丢失的数据等均面临着巨大挑战。

视频编码技术主要是利用视频源的时间相关性和空间相关性对视频进行压缩编码，然而这直接导致了视频部分数据丢失后的错误传播。随着无线网络技术的发展，视频业务在无线网络环境中的传输已经越来越流行，然而众所周知视频业务数据量非常大，无线网络状态不稳定，相对于有线网络而言丢包率较大。对于网络拥塞带来的数据丢包，从而引起的错误传播会对视频质量带来严重的影响。所以，对于视频传输过程中丢包后，在解码端如何进行错误隐藏成为了必不可少的技术。

图1为现有技术视频编解码过程的示意图。如图1所示，视频编码过程主要分为预测、变换、量化和熵编码四个部分。其中，预测部分主要利用空间和时间相关性(帧内预测和帧间预测)去除视频内容的冗余获取当前编码块的预测值，获取预测值的过程中主要对视频帧进行分块处理，每个块有不同的预测模式，通过率失真优化获取最优的预测模式，为每个视频块得到最优的预测值，对于原始值和预测值之间的残差进行变换量化，然后再对量化后的残差进行熵编码。在解码过程中，直接从码流中解码得到相应的模式信息、运动信息以及残差信息；通过模式信息和运动信息为每个块得到相应的预测值，再将预测值与解码得到的残差值相加得到最终的重建视频内容。

在实际传输过程中，对最终形成的码流进行打包处理，再传输。对于打包方法，目前有整帧作为一个整体打包；有对整个视频帧分割成固定的片，然后每个片打一个包；还有按照数据大小，每个数据包固定大小后对码流打包。

图2为现有技术视频编码中片打包方式下的错误传播的示意图。如图2所示，对于各种打包方法而言，如果某个数据包丢失，尽管后续的数据包正确接收，然而由于后续视频内容的解码需要用到前面已经解码的重建值作为预测，因此前面数据包的丢失，会对后面正确接收到的视频块有错误传播。因此，在解码端需要尽量准确的恢复丢包的数据，从而保证视频播放质量。以下给出两种现有技术视频编码中错误隐藏的方法。

(一)帧拷贝方法

在H.264/AVC的标准制定过程中，就已经对错误隐藏技术有所研究，其中比较直接的一种错误隐藏方法就是帧拷贝方法，该方法直接利用时间相关性，将时间相邻帧的对应位置作为当前丢失包对应的视频内容作为当前恢复内容。另一种错误隐藏方法直接拷贝时间相邻重建帧的运动信息，然后假设编码残差全0，直接根据运动信息获取预测值，将预测值直接作为恢复的重建帧。

然而，该方法比较适用于运动比较缓慢的序列，但是对于运动剧烈的序列，如果仍然只是复制相邻时刻对应帧内容或者直接复制运动信息，都会导致后续帧解码的严重错误传播。

(二)双向运动信息错误隐藏方法

考虑到上述基于帧拷贝方法的错误隐藏方法的缺点，已经有很多相关的错误隐藏方法提出，其中利用双向运动信息推导恢复当前丢失帧的运动信息是主要的核心思想。由于在H.264/AVC的编码过程中，对于运动信息的编码并不使用时间相关性，因此当前帧的信息丢失，并不会影响后续帧码流的正确解码，因此后续帧虽然无法正确重建出整帧内容，但是其运动信息是可以正确解码获得的。因此，相关研究工作基于此提出双向运动信息估计的思想。

参考文献1提出分别使用前向和后向帧的运动信息外推，假设相邻帧的视频内容都是匀速直线运动，因此可以根据前一重建帧的各个像素的运动信息反推到当前丢失帧的对应像素，同样，也可以利用后向运动信息反推得到各个像素与当前丢失帧的对应像素。因此，可以得到当前丢失帧的像素与前向相邻重建帧的对应像素，从而利用该像素作为当前丢失帧的恢复值。

需要注意的是，并不是所有当前丢失帧的各个像素都能找到与前一重建帧对应的像素，因此会有空洞现象，对于空洞现象则直接复制对应位置的像素或者采用别的简单的方法进行恢复。参考文件2和参考文献3也提出了与此类似的思想进行错误隐藏。