[发明专利]减少视频传输时的分组丢失的影响

说明书

背景

诸如因特网等的计算机网络已彻底改变了人们获取信息的方式。例如，现 代计算机网络支持使用电子邮件通信以便在能够访问该计算机网络的人之间 传输信息。正在开发越来越多的能够通过网络进行具有实时成分的数据交换的 系统。例如，视频流可以在通过网络连接的计算机之间传输以使得网络条件可 影响信息如何被呈现给用户。数据通常通过计算机网络来以分组传输。不幸的 是，当正通过计算机网络传送的一个或多个分组无法到达其目的地时发生分组 丢失。多个因素可导致分组丢失：过度利用的网络、信号劣化、有故障的硬件 等。当分组丢失发生时，用户就可能注意到性能问题。例如，在视频流的上下 文中，分组丢失可导致在视频帧序列中可见的“伪像”或失真。

网络分组丢失是常见的。它发生在公共因特网、DSL、电缆、无限局域网 （WLAN）、3G无线以及许多其他种类的网络上。因特网上的所估计的分组 丢失率是5％，而某些无线网络可具有超过10％的分组丢失率。诸如传输控制 协议（TCP）等可靠的网络传输协议将在传输介质丢弃分组时重发该分组，由 此保证分组传递。诸如不可靠数据报协议（UDP）等不可靠协议不保证分组送 达并且不重发丢弃的分组。重发分组花费时间且消耗额外的带宽。由于视频通 信的实时特性，视频信号通常使用不可靠协议来发送并因此将遭受网络分组丢 失。

对于实时视频通信，发送端点有时以每秒20到30帧或更多的速率跨网络 将视频帧发送到接收端点。帧基于网络所允许的最大传输单元（MTU）（例如， 对于以太网是1500字节）来被分成各分组。视频帧可足够小以适合在一个分 组中，或足够大而需要许多分组。对于某些视频压缩器/解压器（编解码器）， 如果丢弃帧中的分组中的任一个，则接收端点由于遗漏数据而必须丢弃整个 帧。

另外，编解码器通常使用依赖性结构来减少发送端点通过网络来传送的视 频数据量。例如，被称为帧内（I）帧的帧基于其内容来完全编码。后续帧基 于与先前帧的增量（差信号）来压缩。这些帧通常被称为预测（P）帧。某些 编解码器引入甚至更复杂的依赖性结构。例如，编解码器可偶然发送被称为超 预测帧（SP帧）的特殊P帧，与常规P帧形成对比，该SP帧不依赖直接前导 P帧或I帧而依赖较老的SP帧或I帧。这些SP帧的内容通常较不与参考帧相 关并由此携带更多视频数据。另一种类型的帧是包含与先前和后续帧两者的增 量的中间或双向（B）帧。这些类型的帧间依赖性减少了发送端点通过网络来 传送的数据量，但这些依赖性也夸大了网络分组丢失的影响。例如，如果丢弃 I帧，则接收端点将遗漏对于依赖该I帧的所有后续P帧的数据，并且用户将 看见视频伪像直到下一I帧到达。如果网络分组丢失是1％，则10个分组的I 帧根据以下公式具有10％机率被丢弃：

P_I=1-(1-P)^N

其中PI是丢失I帧的概率，P是丢失任何分组的概率，而N是帧中的分组 数量。如果I帧具有10％机率被丢弃，则依赖该I帧的后续帧具有10％机率具 有视频伪像，即使所有后续帧都正确地到达接收端点。

一种减少分组丢失的影响的传统方法是前向纠错（FEC）。前向纠错（FEC） 是用于数据传输的差错控制系统，藉此发送端点向其消息添加允许接收端点检 测并纠正差错（在某一限度内）而无需向发送端点要求附加数据的冗余数据。 前向纠错的优点在于通常可避免数据重传（以平均较高的带宽要求为代价）并 因此在诸如在传输实时视频数据时等其中重传是相对昂贵的或不可能的情形 中应用。不同的FEC算法具有不同的带宽要求并且提供针对丢失分组的不同 保护级别，因此不同的FEC算法适用于不同的条件。

不幸的是，发送端点难以确定哪一个FEC算法将提供对于特定网络连接 的最佳视频体验。发送端点通常还具有使得对FEC算法的高效选择有利的带 宽和计算资源限制。另外，许多发送端点负责将视频数据同时发送到许多不同 的接收端点，从而使得针对每一个端点执行的确定可能在发送端点处的可用资 源方面变得非常昂贵。

概述