[发明专利]时间可缩放性的高层句法

说明书

说明

相关申请的交叉引用

本申请要求2011年1月14日提交的题为“High Layer Syntax for Temporal Scalability(时间可缩放性的高层句法)”美国S/N61/432,860的优先权，其公开内容全篇地援引包含于此。

技术领域

本申请涉及使用时间可缩放性的视频压缩，更具体地涉及允许视频解码器或媒体感知网络单元标识对预测必需的非基层图象或非基层图象的一部分的技术，由此实现高效的比特流修剪。

背景技术

商业视频压缩技术可使用众多视频编码标准来实现跨销售者的互通性。本公开可与这种视频编码标准共同使用，具体地说是从瑞士CH-1211Geneva20联合国广场的因特网电信联盟(ITU)或http://www.itu.int/rec T-REC-H.264获得的ITU-T Rec.H.264“Advanced video coding for generic audiovisual services(一般视听服务的先进视频编码)”2010年3月，并被全篇地援引包含于此。

H.264通过已知为参考图象选择的技术来实现时间可缩放性。参考图象选择可通过少许限制(例如：不参考(按解码顺序)在最新的IDR图象之前解码的图象)，在重建给定图象时实现解码器的存储中的任何参考图象的图象间预测。存储在解码器中的参考图象的数据可受H.264的概况和等级的限制。此外，在比特流发生期间编码器可对每个图象明确地信令是否应当将其作为参考图象存储。在没有显式信令时，也隐式地存储一些图象。显式信令和隐式存储的组合可在低比特率净空下实现参考图象管理的灵活性。

然而在实践中，某些H.264编码器创建比特流，其中经编码的图象的参考关系遵循某些“模式”。来自这些模式中的一种原型已知为图象组或GOP，例如从http/www.itu.int/rec T-REC-H.262中获得的ITU-T Rec.H.262“Information technology-Generic coding of moving pictures and associated audio information:Video(信息技术——运动图象及相关音频信息：视频的一般编码)”2000年2月(也称MPEG-2视频)中获知，该文献全篇地援引包含于此。图2示出可通过H.264实现的模式的两个例子；稍后提供其更详细的描述。

在一种模式中，某些图象的解码可比其它图象的解码更为相关，从比特流顺应性角度和用户体验角度来说都是如此。例如，对于IDR图象——它在一些情形下是第一模式图象——解码的不可用性可能对其余模式的解码具有消极的结果。另一方面，不被用于参考的图象的不可用性仅导致缺乏就那个图象的呈现，这可以被用户观察为帧速率的暂时下降，并在某些情形下可被隐藏。对除IDR图象和非参考图象以外的图象不予以解码的结果就结果的严重性而言可能是温和的，如后面描述的。

参见图1，其示出一示例性视频会议系统的简化框图。编码器(101)可产生比特流(102)，该比特流(102)包括具有例如允许时间可缩放性的模式。比特流(102)图示为实线以指示它具有某一比特率。比特流(102)可在网络链路上前进至媒体感知网络单元(MANE)103。MANE(103)的功能可以是将比特流向下“修剪”至由第二网络链路提供的某一比特率，例如通过选择性地去除对用户感知的视觉质量具有最小影响的那些图象。这由从MANE(103)送至解码器(105)的比特流(104)的发丝线(hairline line)表示。解码器(105)可从MANE(103)接收经修剪的比特流(104)，并对其解码和渲染。通过仅修剪要么完全不用于参考要么仅用于该模式的其余图象(它们也较为有利地被去除)的子集的那些图象，即便考虑到比特率的下降，图像质量也能保持为高。

前面意义的比特流修剪是可在经压缩域内被处理的操作。相比代码转换(其涉及至少部分比特流重建和编码)，比特流修剪可能在计算上轻载并且是视觉延迟中性的操作。