[发明专利]包括RTP分组的数据流、及编/解码该数据流的方法和设备

说明书

技术领域

本发明涉及包括多层应用的应用数据在内的分组实时协议(RTP) 数据流。具体地，本发明涉及基于RTP的可缩放视频传输。

背景技术

存在不同的多层多媒体应用，如可缩放视频、可缩放音频等。 通常通过分组数据流来传输多媒体数据，由此，将单独层的多媒体数 据时间复用到单个数据流中。具体地，H.264/AVC标准的可缩放视频 编码(SVC)扩展使用三种类型的可缩放性：时间的、空间的和质量 的。在H.264/AVC中很好地支持时间可缩放性，并且有意地将SVC 的基本层设计为遵循H.264/AVC。

典型地，互联网和移动网络上的实时视频传输基于RTP/IP。 IETF提出了针对SVC视频的RTP有效负荷格式。然而，可做出进一 步的改进以便于对基于RTP的SVC比特流进行解码和呈现，由此， 传输方案可以与普通的标准解码器保持一致。

解码器可能需要一些初始信息，例如在可缩放视频的情况下的 总体空间和质量可缩放性层数。例如，该初始信息可以帮助解码器初 始化存储器分配和相关的参数配置。诸如层相关性或帧类型之类的其 他信息还可以帮助解码器变得更高效和更具鲁棒性。

然而，通常传输信道是易出错的。如果在这种易出错的信道上 传输的过程中发生分组丢失，则一些解码器可执行错误隐藏过程。然 而，解码器通常依赖于传送流的格式，如RTP。举例来说，标准的 RTP报头包含定时信息和RTP分组号，所述定时信息和RTP分组号 可以用于确保以正确的顺序对分组进行解码。然而，需要其它协议来 检测分组是否丢失。尽管针对普通的互联网应用使用TCP，然而TCP 对于实时应用来说太慢了。因此，在具有实时能力的系统中，应用解 码器必须掌控数据丢失情况，并且必须单独发现丢失了哪些数据。这 可能对应用解码器造成干扰，并且在某些情况下甚至可能需要将应用 解码器重新初始化。

发明内容

对于多层应用，已发现应用解码器具有不同的选项以根据丢失 数据分组的类型以及所关注的应用层对数据丢失作出反应。然而，通 常不知道遗漏的分组属于哪个应用层。传统的多层应用解码器需要一 些处理时间来弥补这种情况。越快知道丢失数据的类型，解码器越能 更好地作出反应。本发明将要解决的一个问题是，具体地对于所关注 的应用发生传送分组丢失的情况下，向解码器提供更早并且更详细的 与丢失数据的类型有关的信息。

本发明在基于分组的架构内提供了一种特殊语法，该特殊语法 基于：在RTP分组被馈送至多层应用解码器之前，对所述RTP分组 之间的关系以及所述RTP分组所承载的应用层/帧加以识别和指示。 这有助于解码器及时使用合适的错误隐藏技术，并且防止在解码器中 进行不必要的处理。

本发明提供了一种解决上述问题的数据流格式，以及对应的编码 方法和设备以及解码方法和设备。

根据本发明的一方面，一种数据流包括包含多层应用的应用数 据在内的RTP分组，其中，至少一个RTP分组(按发送顺序)包含 与下一个RTP分组的内容有关的第一应用层信息以及与前一个RTP 分组的内容有关的第二应用层信息。

根据本发明的另一方面，一种使用RTP分组对多层应用数据进 行编码的方法，包括步骤：

将多层应用数据的第一部分、第二部分和第三部分分别打包成 第一RTP分组、第二RTP分组和第三RTP分组，其中应用数据的第 一部分、第二部分和第三部分涉及应用的第一层、第二层和第三层；

将至少第一数据和第二数据添加到第二RTP分组中，其中，所述 第一数据限定了第一分组所涉及的应用的第一层，所述第二数据限定 了第三分组所涉及的应用的第三层；以及

(按照这个发送顺序)发送第一RTP分组、第二RTP分组和第 三RTP分组。

一种用于使用RTP分组对多层应用数据进行编码的相应设备，包 括：用于将多层应用数据的第一部分、第二部分和第三部分分别打包 成第一RTP分组、第二RTP分组和第三RTP分组的插入装置，其中 应用数据的第一部分、第二部分和第三部分涉及应用的第一层、第二 层和第三层；用于将至少第一数据和第二数据添加(320)到第二RTP 分组中的插入装置，其中，所述第一数据限定了第一分组所涉及的应 用的第一层，所述第二数据限定了第三分组所涉及的应用的第三层； 发送装置，用于(按照这个发送顺序)发送第一RTP分组、第二RTP 分组和第三RTP分组。