[发明专利]一种实现多画面视频会议的方法及多点控制单元

说明书

技术领域

本发明涉及多媒体通讯技术领域，特别涉及一种实现多画面视频会议的方法及多点控制单元。

背景技术

在视频会议中，参与视频会议的会议场所被称为会场。通常来说，一个会场对应一个视频终端(本文中简称为终端)对应一个会场。视频会议中，各个终端采集本会场的画面和声音数据，经过编码压缩后传输到多点控制单元(MCU，Multipoint Control Unit)；MCU对上述数据进行重新整合和调配，按照会议创建者的需求将多路音视频数据流整合为一条音视频流，下发到各个视频终端。

随着因特网的广泛应用，视频会议系统越来越普及。与此同时，通过将多个MCU级联所形成的多级视频会议，例如“中央MCU→省MCU→市MCU→县MCU”等多级结构，也越来越多在实际中得到应用。图1所示为现有技术的一种多级视频会议系统的组网示意图。图1中的视频会议系统通过级联的多个多点控制单元(MCU，Multipoint Control Unit)，形成了三级结构。其中，逻辑上的顶级，也即第一级，包括MCU1，第二级包括MCU2和MCU3，第三级包括MCU4和MCU5；每个MCU可以连接多个终端，图1中下级(第二级至第三级)各MCU分别包括有两个终端，如MCU2的终端2-1和终端2-2，MCU3的终端3-1和终端3-2，MCU4的终端4-1和终端4-2，MCU5的终端5-1和终端5-2。顶级MCU1通过第一支路1和第一支路2分别和第二级的MCU2和MCU3直接连接。这里，所述第一支路是指下级MCU与顶级MCU直接连接的支路。

在由级联的MCU所构建的视频会议系统中，在视频会议开始时，需要协商级联的MCU之间的带宽。由于受到MCU之间的带宽以及级联视频会议模式的限制，顶级MCU在设置多画面视频会议时，在同一时刻只能看到某条第一支路下的一个终端的会场图像。如图1所示，假设MCU1想要设置多画面视频会议，同一时刻MCU1只能调用任意第一支路下的一个终端的会场图像，例如第一支路1下MCU2的终端2-1或终端2-2的会场图像，而不能同时观看终端2-1和终端2-2的会场图像，也不能同时观看终端2-1和终端4-1的会场图像。

现有的视频会议中，级联的MCU之间的多画面视频会议的实现示意图如图2所示，其信令流程如图3所示。图2中，第一级MCU1设置了多画面视频会议，在一个多画面图像中同时观看第一支路1的MCU2的终端2-1的画面1和第一支路2的第二级MCU3的终端3-2的画面3。其信令流程包括以下信令的交互：

步骤301～302，MCU1分别向MCU2和MCU3发送一个终端画面请求消息(makeTerminalBroadcaster)，该消息中包含相应的MCU标识(mcuNumber)和终端标识terminalNumber)，要求MCU2和MCU3分别广播终端2-1和终端3-2的画面。

步骤303～304，MCU2和MCU3分别向MCU1返回终端画面请求回应消息(makeTerminalBroadcasterResponse)，表示同意广播相应终端的画面。

步骤305～306，MCU2和MCU3分别向对应的终端申请I帧图像，并将获取到的I帧图像直接转发至MCU1。这里，终端2-1和终端3-2采集到的画面大小为一个通用中间格式(CIF，Common Intermediate Format)的大小，MCU2和MCU3直接将终端返回的画面图像数据转发至MCU1。终端压缩编码后的视频数据包括I帧和B帧数据，其中，I帧数据中包含了原始图像的大量数据，而B帧数据通常用来表示前后帧之间的矢量差。因此，I帧数据可以反映当前会场图像。

步骤307～308，MCU2和MCU3分别向MCU1发送视频源通知消息(terminalYouAreSeeing)，用于指示MCU1当前观看的视频源的信息(如MCU标识terminalNumber和终端标识mcuNumber)。

步骤309～310，MCU1收到终端2-1和终端3-2返回的画面图像后，进行解码、拼接，并重新编码为一幅多画面图像，该多画面图像大小为一个CIF大小，然后将该多画面图像发送到对应的MCU，再通过该MCU将多画面图像转发到视频会议中需要观看的会场。