[发明专利]用于在多媒体流式传输中组装前向纠错帧的方法和设备

说明书

技术领域

本申请总体上涉及用于已编码媒体分组群组的前向纠错帧的组装，更具体地，涉及多媒体流式传输中的前向纠错帧。

背景技术

多数基于分组的通信网络，特别是没有服务质量保证的互联网协议(IP)网络，受到数量不定的分组丢失或者错误的影响。这些丢失可能源自很多来源，例如路由器或者传输部分过载，或者导致分组删除的分组中的位错误。应当理解，分组丢失是多数分组网络架构中的常见操作要点，而不是网络失败。媒体传输，特别是压缩视频的传输，极大地受到分组丢失的影响。

可以在媒体编码过程期间通过多种不同的手段来进一步避免由媒体传输中的错误所导致的在媒体呈现中的恼人赝像。然而，在媒体编码过程期间添加冗余位对于预编码的内容是不可行的，并且这通常比使用前向纠错(FEC)的信道编码中的最优保护机制的效率要低。

前向纠错如下进行工作：计算各个待保护的媒体分组中待保护位上的冗余位数目，将这些位添加到FEC分组，并且传输媒体分组和FEC分组二者。在接收机处，可以使用FEC分组来检查媒体分组的完整性，并且重建可能丢失的媒体分组。由此，将媒体分组和保护这些媒体分组的FEC分组称为FEC帧。图1中示出了FEC帧的例子。如图1所示，媒体GOP流300包括由边界315隔开的媒体GOP 310和媒体GOP 320。FEC结构500包括由边界515隔开的FEC帧510和FEC帧520。除了媒体分组514之外，FEC帧510还包含FEC分组512和两个填充分组516。同样，FEC帧520除了包含媒体分组524还包含FEC分组。这样，FEC帧510、520一般比媒体GOP长。因此，FEC帧没有与媒体GOP对准。

多数意在误差防护的FEC方案允许选择待保护的媒体分组的数目，并且允许自适应地挑选FEC分组的数目，以选择FEC子系统的延迟约束和保护长度。

上文意义中的基于分组的FEC需要接收机与FEC帧结构的同步，以便利用FEC。换言之，在可以开始纠错之前，接收机必须缓存FEC帧的所有媒体和FEC分组。

视频编码方案以及日益出现的一些音频编码方案，其例如使用所谓的预测编码技术。这种技术分别根据先前的图像或者音频帧来预测后面的视频图像或者音频帧的内容。下文中，将把视频图像和音频帧统称为“图像”，以便将其与FEC帧区分开。通过使用预测编码技术，压缩方案可能会非常有效，但是随着预测链变得更长，也变得更加容易受到错误的影响。因此，不时地插入所谓的关键图像或者非预测编码视频帧的等价项(此后将二者都称为关键图像)。该技术通过使用非预测编码技术来重新建立预测链的完整性。但是这种情况也不是很罕见：关键图像比预测编码图像大5到20倍。每个已编码图像例如可以对应于一个待保护的媒体分组。

遵循MPEG-2可视化的惯例，此后将以关键图像开始、随后是零个或多个非关键图像的图像序列称为图像组(GOP)。在数字电视中，GOP通常包括不超过6个图像。然而，在流式传输应用中，常常将GOP尺寸选择得更大。有些GOP在一个GOP中可以具有数百个图像，以便利用预测编码图像的较好的编码效率。为此，“调谐”到此类序列可能需要若干秒。

当FEC帧是大尺寸时(例如，包括数百个分组时)，可以将FEC方案设计得更为高效。类似地，多数媒体编码方案在挑选较大的GOP尺寸时效率提高，因为一个GOP仅包含一个单个关键图像，其在统计上远大于GOP的其他图像。然而，大FEC帧和大GOP尺寸二者都需要与其各自的结构同步。对于FEC帧而言，这意味着在接收时缓存整个FEC帧，以及纠正任何可纠正的错误。对于媒体GOP而言，这意味着解析和丢弃那些没有构成GOP开始(关键帧)的媒体分组。

在美国专利申请公开No.2006/0107189 A1中记载：为了减小解码端的缓存延迟，FEC帧应当与媒体分组的群组对准。为此，编码器应当能够针对FEC帧中所包含的已编码媒体分组的群组来确定完全符合该FEC帧的已编码媒体分组的下一后续群组的数目，并且选择与针对该FEC帧而如此确定的已编码媒体分组的一个或多个群组相关联的所有已编码媒体分组。为了对准目的，可以通过向某些选定分组添加预定的数据来使选定分组的尺寸相等。图2中示出了已对准的FEC帧和媒体分组群组的例子。如图2所示，媒体GOP流400包括由边界415隔开的媒体GOP 410和媒体GOP 420。FEC结构600包含由边界615隔开的FEC帧610和FEC帧620。尽管FEC帧610和620还包含FEC分组和媒体分组，但是可以使其与GOP对准。