[发明专利]用于使用可缩放视频编码和合成可缩放视频会议服务器进行视频会议的系统和方法

说明书

相关申请的交叉引用

本申请要求2005年12月22日提交的美国临时专利申请S/N.60/753, 343的优先权。此外，本申请涉及国际专利申请No.PCT/US06/28365、 PCT/US06/028366、PCT/US06/028367、PCT/US06/027368和 PCT/US06/061815以及美国临时专利申请No.60/778,760、60/787,031、 60/774,094和60/827,469。所有前述优先权和相关申请通过全文引用而结合于 此。

发明领域

本发明涉及多媒体技术和电信。具体地，本发明涉及用于个人对个人和多 方会议应用的音频和视频数据的通信和分发。更具体地，本发明涉及个人对个 人或多方会议应用的实现，其中某些参与方可能仅能够支持对与单个画面相对 应的、使用可缩放视频编码技术编码的视频比特流的接收。本发明也针对在可 提供不同水平的服务质量(QoS)的通信网络连接上，以及在其中最终用户可 使用不同能力的设备和通信信道接入会议应用的环境中实现此类系统。

发明背景

视频会议系统允许两个或多个远程参与方/端点彼此使用音频和视频实时 地传送视频和音频。当仅涉及两个远程参与方时，可使用两个端点之间的适当 电子网络上的直接通信传输。当涉及多于两个的参与方/端点时，多点会议单元 (MCU)或桥接器通常被用于连接到所有参与方/端点。MCU协调可例如以星 形配置连接的多个参与方/端点之间的通信。注意：即使仅涉及两个参与方时， 在两个参与方之间使用MCU仍是有益的。

对于视频会议，参与方/端点或终端配备有合适的编码和解码设备。在发 送端点，编码器将本地音频和视频输出格式化成适于在电子网络上进行信号传 输的经编码形式。相反，在接收端点处，解码器将接收到的具有经编码的音频 和视频信息的信号处理成适于接收端点的音频回放或图像显示的经解码形式。

传统上，最终用户自身的图像也在他/她的屏幕上显示以提供反馈(以确 保例如个人在视频窗口中的适当定位)。

在通过通信网络实现的实际的视频会议系统中，远程参与方之间的交互式 视频会议的质量取决于端对端信号延迟。大于200ms的端对端延迟阻碍了会议 参与方之间的逼真实况转播或自然交互。这种长时间的端对端延迟使得为了让 正在传送中的来自其他参与方的视频和音频数据到达他们的端点，会议参与方 不自然地抑制自己进行积极的参与或响应。

端对端信号延迟包括捕获延迟(例如，与用以填满A/D转换器的缓冲器 的时间相对应的延迟)、编码延迟、发送延迟(例如，与向端点的网络接口控 制器提交数据包所花的时间相对应的延迟)、以及传输延迟(与包在通信网络 中从端点到端点传播的时间相对应的延迟)。另外，通过协调MCU的信号处 理时间也构成给定系统中总的端对端延迟的一部分。

MCU的主要任务是混合传入的音频信号，使得单个音频流被发送给所有 参与方，并且将由各个参与方/端点发送的视频帧或画面混合成包括每个参与方 的画面的公共合成视频帧流。注意：术语帧和画面在本文中可交换使用，并且 此外对于本领域技术人员而言，可结合作为单个场或作为组合帧的交织帧的编 码(基于场或基于帧的画面编码)是显而易见的。部署在常规通信网络系统中 的MCU仅为混合成分发给视频会议会话中的所有参与方的公共合成视频帧中 的所有单个画面提供单一的公共分辨率(例如，CIF或QCIF分辨率)。因而， 常规通信网络系统不易于提供参与方可籍此能以不同分辨率观看其他参与方 的定制视频会议功能。这种定制功能可允许参与方例如以CIF分辨率观看另一 特定参与方(例如，正在讲话的参与方)，而以QCIF分辨率观看静默参与方。 网络中的MCU可被配置成通过将视频混合操作重复与视频会议中参与方的数 目一样多的次数来提供该定制功能。然而，在这种配置中，MCU操作引入了 相当大的端对端延迟。此外，MCU必需具有充分的数字信号处理能力来解码 多个音频流、混合和重编码它们、以及还解码多个视频流、将它们合成为单个 帧(按需使用适当的缩放)和再次将它们重编码成单个流。视频会议解决方案 (诸如由加州(94588)普莱森顿的Willow路4750号的泊立康目(Polycom) 公司和纽约州(10166)纽约的Park大道200号的坦得勃格(Tandberg)商业 销售的系统)必须使用专用硬件组件来提供可接受的质量和性能水平。