[发明专利]一种可伸缩视频编码的方法及装置

说明书

技术领域

本发明涉及视频通信技术领域，尤其涉及一种可伸缩视频编码的方法及装置。

背景技术

随着通信技术的普及和发展，相应的移动电视，视频会议以及视频监控等视频服务也飞速发展起来。在用户通过各种各样的终端及不同的接入方式访问开展相应的视频服务的过程中，用户终端的多样性和网络环境的复杂性，使得如何有效传输视频内容成为设计视频服务系统的巨大挑战。

目前，SVC(可伸缩视频编码)技术能够在一定程度上有效传输相应的视频内容。SVC技术是通过在一段码流中同时编码多种码率、分辨率、帧率的子码流，在传输节点根据网络状况以及用户或者用户设备的需求进行简单的抽取操作就可以生成相应得适配码流。SVC技术相对于单一码流技术，其能提供一个空间、时间、质量可伸缩的码流，即从这个码流中可以抽取一些子码流。相应的子码流能满足网络传输速率以及终端用户对视频在空间、时间和信噪比等方面的需求，因此，SVC技术使得视频流能够更好地适应各种不同的网络环境和用户终端。

在SVC技术中，能提供的最低质量编码层被称作BL(基本层)，能增强空间分辨率、时间分辨率或者信噪比强度的编码层被称作EL(增强层)。其中，空间可伸缩性使用分层编码(Layered Coding)的方法，利用层间的运动、纹理和残差信息；时间可伸缩性采用分级双向预测帧(Hierarchical B)编码技术；对于信噪比的可伸缩性，可以采用CGS(粗粒度质量可伸缩)和MGS(中等粒度质量可伸缩)的方法。

相应的SVC技术还提供了对ROI(感兴趣区域)编码的支持。ROI通常是指视频帧中对于浏览者而言包含具有明确高层语义的物体的区域，如某人，某物体等。在用户进行视频浏览的过程中，如果其设备的显示尺寸小，或者其可用带宽降低，则可以尽量保持感兴趣区域的清晰度，以不影响用户对该视频的观赏体验。例如，当接入带宽不足时，可以删除部分非感兴趣区域以适应带宽需求对视频主观质量的影响，即当带宽不足以传输基本层和增强层的编码码流时，可以传输基本层和ROI的编码码流以充分利用带宽，在一定程度上可以保持视频质量，保证用户的主观体验感受。

在SVC技术中的ROI技术是通过FMO(灵活宏块顺序)技术实现的。FMO技术允许将一帧中的MB(宏块)按照几种不同的方式编码到不同的SG(片组)，解码端需要获知每个宏块所属的片组即可以进行解码。FMO技术支持7种不同的类型，即FMO类型0到FMO类型6，其中FMO类型6是通过在PPS(图片参数集)中显示标注宏块分配图以传递每个宏块所属的片组；而其他6种类型则通过预设的几种片组分配方式通知解码端每个宏块所属的片组。在编码过程中，不同片组的宏块之间可以独立解码，即在中间传输视频的节点处，可以以这些片组为单位进行抽取，以适应不同的应用需求。

在SVC中，ROI通常是一个或者若干矩形区域，故可通过FMO类型2来实现。例如，首先编码一个基本层，然后在编码增强层时，利用FMO技术，将感兴趣区域编码为ROI片，非感兴趣区域编码为Background(背景)片，形成的包含基本层码流与增强层码流(即包括ROI码流以及Background码流)的SVC码流。这样，在传输视频码流的MG(媒体网关)处，可以通过简单抽取以形成不同码率或分辨率，从而适应不用应用需求的子码流。例如，在MG处仅抽取基本层，则可以解码得到基本的视频质量；或者，在MG处抽取基本层加增强层ROI码流，则可以解码得到含有清晰的ROI以及低质量Background区域的码流；或者，传输整个码流，从而进一步提高解码视频的质量。

FMO技术保证了同一帧中同一层不同片组或者片的宏块在编码过程中不进行参考，即解码当前片的模式，运动矢量，残差等信息不需要当前帧中同一层其他片组的信息，从而通过牺牲一定的编码性能保证片或者片组能独立解码。然而，在视频技术中，由于存在时间上的参考，即当前帧可以使用其他帧进行参考，因此，若对时间预测不采取任何限制，将带来误差的扩散，导致相应的ROI解码视频质量无法预知。为避免时间预测带来的误差传播，需要对时间预测进行严格的限制，即第n帧中ROI仅使用参考帧中相应的ROI的值进行参考。

在SVC技术中，为了实现当前帧中ROI仅使用参考帧中相应的ROI的值进行参考，目前采用的一种方式是对当前帧中ROI的MB的运动矢量进行限制，将其限制在参考帧中相应的ROI内。