[发明专利]用于多流多站点远程呈现会议系统的自动视频布局

说明书

视频会议多点控制单元（MCU）自动生成视频会议端点的显示布局。基于与从端点接收到的视频流相关联的属性，生成显示布局，并显示端点的配置信息。端点可在每一传出流中包括一个或多个属性。可以基于视频流的角色，内容，摄像机源等等，来指定属性。如果一个或多个属性发生变化，则可以重新生成显示布局。混合器可以基于显示布局来生成要在端点处显示的视频流。

本申请是申请日为2012年2月9日、申请号为201210027888.9、发明名称为“用于多流多站点远程呈现会议系统的自动视频布局”的发明专利申请的分案申请。

技术领域

本发明一般而言涉及视频会议系统，更具体而言，涉及多流、多站点会议系统。

背景技术

视频会议需要在至少两个参与者之间交换音频、视频，及其他信息。一般而言，每一参与者位置处的视频会议端点将包括用于捕捉本地参与者的图像的摄像机以及用于显示远程参与者的图像的显示设备。视频会议端点也可以包括额外的用于显示数字内容的显示设备。在两个以上的端点参与视频会议会话的情况下，可以使用多点控制单元（MCU）作为会议控制实体。MCU和端点通常通过通信网络进行通信，MCU从端点接收并向端点传输视频、音频，以及数据信道。

远程呈现技术向参与者提供增强的视频会议体验，以便近端参与者感觉好象他们与远端参与者在同一个房间。可以提供用于各种会议系统的远程呈现视频会议，从两个人的点对点视频会议系统到多参与者多点视频会议系统。通常，远程呈现使用多个摄像机来捕捉近端参与者的图像，并使用多个显示器来显示远端参与者的图像。多个视频流被从多个端点传输到MCU以合并到一个或多个经组合的视频流，这些视频流被发回端点以显示在多个显示设备上。例如，在涉及三个端点的远程呈现系统中，每一端点都具有三个摄像机，MCU将接收九个视频流。MCU必须将九个接收到的视频流组合为一个或多个经组合的视频流，这些经组合的视频流被发回以显示在每一端点上的显示设备上。这九个视频流必须基于每一端点上的显示器的数量和类型，为每一个端点展示。此外，虽然MCU可以从端点接收当前发言者位于该端点上的信息，从每一端点接收到一个以上的视频流，但是，MCU可能不能确定多个视频流中的哪一个包括当前发言者。如此，动态地选择从端点接收到的许多视频流中的一个来突出显示可能是困难的。

传统上，对于多点和多流视频会议系统，被发送到每一端点的视频流的排列是手动执行的。例如，视频网络操作中心（也称为VNOC），提供对远程呈现视频会议的手动管理，包括适当地将传入的视频流布置为经组合的传出视频流。在VNOC处管理视频会议的人员监测当前发言者的视频流，然后，手动排列布局，以便具有当前发言者的视频流突出地显示在每一端点上的显示屏幕上。突出地显示当前发言者的图像可以涉及操纵被显示的视频流的比例和大小。再者，管理视频会议的人员也将手动执行缩放过程。然而，对VNOC的手动管理会受到人为错误和延迟的危害。另外，使用操作员以及提供对于操作设备的必需的专业训练是非常昂贵的。

概括地说，传统方法被视频流的静态布局排列（或者如果需要动态布局排列，使用易于出错的手动控制的必要性）危害。

发明内容

公开了自动生成视频流的布局以向视频会议端点呈现的连续的呈现、远程呈现、视频会议MCU。视频会议端点可包括耦合到处理器的两个或更多摄像机，至少一个显示设备。处理器可包括用于编码供传输的视频和音频流和解码接收到的视频和音频流的编解码器。处理器也可以包括用于将属性指定到传出流的流属性模块。端点也可以包括用于从多个参与者中确定当前发言者的位置的发言者定位器。然后，处理器可以确定捕捉当前发言者的摄像机。随后，处理器可以指示属性模块将属性添加到由该摄像机所生成的视频流中，该属性当由MCU或另一个端点检查时可以指出相关联的视频流包括当前发言者的图像。