[发明专利]用于在视频会议中管理媒体流的方法、计算机程序和设备

说明书

技术领域

本发明涉及在视频会议中连续提供最响亮发言者的视图的方法、计算机程序和系统。

背景技术

实时传送运动图像被用于多种应用中，例如视频会议、网络会议和视频通话。

视频会议系统考虑了在多个会议现场之间的音频、视频和数据信息的同时交换。被已知为多点控制单元(MCU)的系统执行切换功能以允许多个现场的端点在会议中相互交流。MCU通过从现场接收会议信号的帧、处理接收的信号并再传输处理的信号到适当的现场来将现场链接到一起。会议信号包括音频、视频、数据和控制信息。在交换会议中，来自会议现场之一的(典型地是最响亮的发言者的)视频信号被广播到每一位参会者。在连续呈现会议中，来自两个或更多现场的视频信号被空间地混合以形成复合视频信号以被会议参会者观看。当不同视频流被一起混合到一个单一视频流中时，组成的视频流被传输至视频会议的不同方，其中每个被传输的视频流优选地遵守设置的指示由谁将接收什么视频流的计划。一般地，不同用户偏爱接收不同视频流。连续呈现或者复合图像是组合图像，其可能包括直播视频流、静止图像、菜单或来自会议中的参会者的其他视觉图像。

如上所述，使用多流途径的许多端点各自可以向所有其他端点发送其音频，并且如果它被指定为“最响亮发言者”，则还发送其视频。最响亮发言者的视频或者被单独观看或者作为屏幕上最大的视图。

切换的语音典型地被用于描述在任何时候都只可见一个发言者的会议。连续呈现指可见多个发言者的会议，有时候突出活跃的发言者。活跃呈现总是后者的情况。

在具有混合音频和视频的多个虚拟端点的分布式MCU中也会发生在背板(backplane)上传输的类似情况。这种情况下的MCU跨多个物理底盘(chassis)分布。软件架构被布置为使用LAN或WAN这样的以太网来在组件之间通信，而不是使用背板。在后续说明中，端点是指真实端点和虚拟端点。虚拟端点可以是在类似MCU的基础设施组件中代表真实端点的单元。MCU将虚拟端点认为是真实端点，并将所有数据交换至该虚拟端点而不是真实端点。虚拟端点可以格式化并转发数据至真实端点。从真实端点传输至MCU的数据可以经由虚拟端点进行类似的处理。

在某些场景中，当新发言者开始时，端点可以非常快速地切换以免丢失最初的音节。

发明内容

本文的实施方式的一个目的是克服或至少减轻上述缺点。这一目的和其他目的通过所附的独立权利要求实现。

根据一个方面，提供了一种用于在多方视频会议中管理至少包括视频数据和音频数据的媒体流的方法。该视频会议涉及一个或多个节点的一个或多个组，该一个或多个节点分别从多个相关联的端点中的每一个接收媒体流。例如，端点可以与各个节点相关联。在一个或多个组的每一个中的一个或多个节点的每一个中，确定从多个相关联端点中的各个接收的媒体流的最响亮音频。进一步地，相应的一个或多个组的一个或多个节点中的每一个将所确定的最响亮音频的音量指示和与该最响亮音频相关联的节点的身份传输到与一个或多个组中的每一个相关联的各个决策器。在一个或多个决策器中的每一个中，确定最高的接收音量及相关联的身份。接下来，决策器命令对应于确定的最高音量的身份的节点将与确定的最响亮音频相关的端点的接收的媒体流传输到一个或多个组中的所有节点，或者传输到与该一个或多个组中的每一个相关联的各个代理。

每个决策器分别可以与一个或多个组相关联，所述组在布置了决策器的分层树结构中被指派到多个级别中的一个级别。

在一些实施例中，该方法进一步包括从未被指派到所述多个级别的最高级别的一个或多个决策器中的每一个将确定的各个最高音量的指示及各个相关联的身份传输到在分层树结构中的下一个级别处的决策器。

在命令步骤中，决策器可被指派到分层树结构中的所述多个级别中的最高级别。

节点(例如一个或多个节点中的一些)可以是虚拟端点、多媒体服务器、MCU或分布式MCU中的子单元。

节点(例如一个或多个节点中的一些)可以是分布式MCU中的子单元，所述节点进一步将与确定的最响亮音频相关联的端点的接收的媒体流传输到它的多个相关联端点的全体。