[发明专利]用于可缩放视频编码比特流的稀疏化的系统和方法

说明书

相关申请的交叉引用

本申请要求2006年2月16日提交的美国临时专利申请S/N.60/774,094 的权益。此外，本申请涉及国际专利申请No.PCT/US06/28365、 PCT/US06/028366、PCT/US06/028367、PCT/US06/028368和 PCT/US06/061815，以及美国临时专利申请No.60/786,997、60/827,469、 60/778,760和60/787,031。所有前述优先权以及共同转让的相关申请由此通 过引用全部结合于此。

发明领域

本发明涉及多媒体和电信技术。具体地，本发明涉及对电子通信网络 上的用户端点之间的视频会议使用可缩放视频编码技术的系统和方法，该 电子通信网络可提供不同水平的服务质量(QoS)，并且用户端点可使用不 同能力的接入设备和通信信道连接到该电子网络。

发明背景

现代视频会议系统允许两个或多个远程参与方/端点彼此实时地传送 视频和音频。当仅涉及两个远程参与方时，可使用两个端点之间的适当电子网 络上的直接通信传输。当涉及多于两个的参与方/端点时，多点会议单元 (MCU)或桥接器通常被用于连接到所有参与方/端点。MCU协调可例如以 星形配置连接的多个参与方/端点之间的通信。MCU也可用于点对点通信以 提供防火墙穿越、速率匹配和其它功能。

视频会议系统要求每个用户端点配备有可编码和解码视频和音频两者 的一个设备或多个设备。编码器用于将本地音频和视频信息转换成适于传 送给其他方的形式，而解码器用于解码和显示从其它视频会议参与方接收 到的视频图像，或者回放从其它视频会议参与方接收到的音频。传统上，最 终用户自身的图像也在他/她自己的屏幕上显示以提供反馈，以便确保例如个人 在视频窗口中的适当定位。

当存在多于两个参与方(以及在仅具有两个参与方的某些情形中)， 一个或多个MCU通常被用于协调各方之间的通信。MCU的主要任务是混 合传入的音频信号，使得单个音频流被发送给所有参与方，并且将传入视频信 号混合成单个视频信号以使得在此经混合的视频信号呈现的显示帧的相应部 分中显示每个参与方。

视频会议系统可使用专门在给定空间分辨率和比特率下提供单个比特 流的传统视频编解码器。例如，传统视频编解码器——其比特流和解码操作 在ITU-T推荐H.261；ITU-T推荐H.262|ISO/IEC 13818-2(MPEG-2视频) Main Profile(主型)；ITU-T推荐H.263基线型；ISO/IEC 11172-2(MPEG-1 视频)；ISO/IEC 14496-2简单型或改进简单型；ITU-T推荐H.264|ISO/IEC 14496-10(MPEG4-AVC)基线型或主型或高级型中标准化——专门以给定 空间分辨率和比特率提供单个比特流。在使用传统视频编解码器的系统中， 如果与原始经编码的空间分辨率或比特率相比，经编码的视频信号(例如，在 接收器端点处)需要较低空间分辨率或较低比特率，则全分辨率信号必须以合 需的空间分辨率和比特率来接收、解码、潜在可能的下缩放、和重编码。解码、 潜在可能的下采样、以及重编码的过程需要相当多的计算资源，并且通常对视 频信号添加相当主观的畸变以及对视频传输添加延迟。

已明确针对异种环境开发的视频压缩技术是可缩放编码。在可缩放编 解码器中，对给定源视频信号生成两个或多个比特流：基层和一个或多个增 强层。基层在给定比特率、空间和时间分辨率下提供源信号的基本表示。在给 定空间和时间分辨率下的视频质量与比特率成比例。增强层提供可用于增加视 频质量、空间和/或时间分辨率的附加比特。

尽管可缩放编码已成为诸如ITU-T推荐H.262|ISO/IEC 13818-2 (MPEG-2视频)SNR可缩放或空间可缩放或高级型等标准的一部分，但 是其尚未投入市场。与可缩放编码相关联的增加的成本和复杂度、以及缺少 适于视频的基于IP通信信道的普遍使用已成为对实际视频会议应用广泛采用 基于可缩放编码技术的极大障碍。