[发明专利]在视频编码中用信号通知活动层的数量

说明书

优先权要求

本申请要求对2011年3月10日提交的、标题为“Signaling Number of Active Layers in Video Coding（在视频编码中用信号通知活动层的数量）”的美国临时申请序列No.61/451,462的优先权，它的公开内容据此以它的整体通过引用而并入。

技术领域

本发明涉及一种视频编码，并且更具体地涉及信息的表示，该信息的表示与经编码的图片或片段一起发送的数据结构中可伸缩比特流中活动增强层的数量有关。

背景技术

可伸缩视频编码指的是基层能够由一个或多个增强层来增大的技术。当基层和和增强层被共同地重构时，再现的视频质量能够比如果基层单独地被重构更高。

在可伸缩视频编码中，已经报道了许多形式的增强层类型，包括时间增强层（其增加帧率）、空间增强层（其增加空间分辨率）以及SNR增强层（其增加保真度，保真度能够以信噪比SNR来测量）。

参考图1，在可伸缩视频编码中，各层的关系能够以有向图的形式来描绘。在所呈现的示例中，基层（101）（其能够是，例如，15fps的CIF格式）能够被时间增强层（102）（其能够，例如将帧率增加至30fps）增大。还可以用的是空间增强层（103），该空间增强层将空间分辨率从CIF增加至4CIF。基于这个空间增强层（103），另一个时间增强层能够将帧率增加至30fps。

为了重构4CIF、30fps的信号，所有的基层（101）、空间增强层（103）以及第二时间增强层（104）应当被呈现。其他的组合也是可能的，如在该图中所指示的。

分层的结构信息连同响应于网络条件而将某些层移除的网络元件是有用的。参考图2，所示出的是发送端点（201），它将可伸缩视频流（其可以具有如前面所描述的结构）发送给应用层路由器（202）。应用层路由器能够基于它对这些端点能力、网络状况等的了解，而省略将某些层转发给端点（203）、（204）。通过引用以其整体并入本文的美国专利No.7,593,032描述了能够用于该路由器的示例性技术。

分层的视频能够根据2010年3月的ITU-T Rec.H.264.“Advanced video coding for generic audiovisual services（用于一般的视听服务的高级视频编码）”来编码，该文可以从国际电信联盟（“ITU”），Place de Nations，CH-1211日内瓦20，瑞士得到，或者可以从http://www.itu.int/rec/T-REC-H.264得到，并且以其整体通过引用并入本文；并且，更具体地，分层的视频能够根据H.264的可伸缩视频编码（SVC）扩展，或者根据其他支持伸缩性的视频编码技术来编码，其他支持伸缩性的视频编码技术诸如，即将到来的对“高效率视频编码”（下文中记为“HEVC”）的可伸缩扩展，其正处在被标准化的过程中的撰写时间。

根据H.264，表示每个层的那些比特被封装在一个或多个网络适配层单元（NAL单元）中。每个NAL单元能够包含指示该NAL单元所属的层的头部。

然而，在不观察属于所有层的多个NAL单元，不分析它们的内容，以及因此，不构建这些可用层的“图画”的情况下，路由器就会缺乏用于导出如上面所描述的分层结构的机制。没有对分层结构的了解，路由器对于移除属于某些层地NAL单元可能不会作出明智的选择。

当使用一种分层结构时，应当在包含视频信息的第一个比特到达路由器之前知道该分层结构。用于SVC（Wenger,Wang,Schierl,Eleftheriadis,“RTP Payload Format for Scalable Video Coding”,RFC6190，可以从http://tools.ietf.org/html/rfc6190得到，其通过引用以其整体并入本文）的RTP有效载荷格式包括一种机制，该机制例如使用会话发起协议（Rosenberg等人的“SIP:Session Initiation Protocol”RFC3261，可以从http://tools.ietf.org/html/rfc3261得到，并且通过引用以其整体并入本文），将包含分层结构的伸缩性信息SEI消息的内容结合在能力交换消息中。然而，将这个SEI消息解码一般需要按比特的视频句法处理，而路由器经常没有准备好高效地进行该处理。SEI消息还是复杂的，并且能够具有相当大的尺寸—它的句法规范在H.264中跨越三页。