[发明专利]混合会议中广播音视频码流的控制方法、装置及系统

说明书

技术领域

本发明涉及多媒体通信技术领域，具体地说涉及一种混合会议中广播音视频码流的控制方法、装置及系统。

背景技术

目前的视频会议终端分为单流终端和多流终端，单流终端是只具有接收和发送单路音视频码流能力的终端，多流终端是具有接收和发送多路音视频码流能力的终端。

在多流终端和单流终端的混合会议中，特别是目前的网真视频会议中，需要多流终端发送或接收多路音视频码流以实现重现会议室一比一大小的全景画面，如图1所示，多流终端发送和接收多路音视频码流给会议控制服务器，单流终端发送单路音视频码流给会议控制服务器，为了保证单流终端也能接收到多流终端的全部图像，目前大多数方法是通过扩充单流终端的接收能力，例如单流终端接收多路音视频码流，让单流终端定制播放的画面，该方法会使单流终端产生额外的带宽要求，对网络带宽的要求过高，对单流终端的解码能力也有非常高的要求。

发明内容

为此，本发明所要解决的技术问题在于克服现有技术中通过扩充单流终端的接收能力来实现单流终端能够接收多流终端的全部图像会带来对带宽要求过高的问题，从而提出一种不会额外增加单流终端占用带宽的混合会议中广播音视频码流的控制方法、装置及系统。

本发明的一种混合会议中广播音视频码流的控制方法，包括以下步骤：

根据广播终端和观众终端所支持的媒体流数分别判断是多流终端还是单流终端；

当所述广播终端为多流终端且所述观众终端为单流终端时，接收所述广播终端发送的多路音视频码流；

对所述多路音视频码流进行解码；

将解码后的数据进行合成，并将合成后的数据编码成为单路音视频码流；

将所述单路音视频码流发送给所述观众终端。

优选地，还包括以下步骤：

当所述广播终端为单流终端时，接收所述广播终端发送的单路音视频码流；

将该单路音视频码流发送给所述观众终端。

优选地，根据广播终端或观众终端所支持的媒体流数分别判断是多流终端还是单流终端的步骤包括：

接收所述广播终端或观众终端发送的媒体能力消息；

判断所述媒体能力消息中包含的音频标签或视频标签是多路还是单路；

当包含的音频标签或视频标签是多路时，判断所述广播终端或观众终端为多流终端；

当包含的音频标签或视频标签是单路时，判断所述广播终端或观众终端为单流终端。

优选地，所述将解码后的数据进行合成，并将合成后的数据编码成为单路音视频码流的步骤包括：

对解码后的语音数据进行语音激励，确定出数据中发言座席一路的语音数据，并获得相对应的解码后的视频数据中发言坐席一路的视频数据；

对解码后的语音数据进行语音合成，并将合成后的语音数据进行编码后获得单路音频码流；

将发言座席一路的视频数据缩放后填充到大画面中，将解码后的视频数据中的其他视频数据填充到小画面中，并以填充后的画面风格编码成为单路视频码流。

本发明的一种混合会议中广播音视频码流的控制装置，包括：

第一判断单元，用于根据广播终端和观众终端所支持的媒体流数分别判断是多流终端还是单流终端；

第一接收单元，用于当所述广播终端为多流终端且所述观众终端为单流终端时，接收所述广播终端发送的多路音视频码流；

解码单元，用于对所述多路音视频码流进行解码；

编码单元，用于将解码后的数据进行合成，并将合成后的数据编码成为单路音视频码流；

第一发送单元，用于将所述单路音视频码流发送给所述观众终端。

优选地，还包括：

第二接收单元，用于当所述广播终端为单流终端时，接收所述广播终端发送的单路音视频码流；

第二发送单元，用于将该单路音视频码流发送给所述观众终端。

优选地，所述第一判断单元包括：

第三接收单元，用于接收所述广播终端或观众终端发送的媒体能力消息；

第二判断单元，用于判断所述媒体能力消息中包含的音频标签或视频标签是多路还是单路；

第一终端类型获得单元，用于当包含的音频标签或视频标签是多路时，判断所述广播终端或观众终端为多流终端；

第二终端类型获得单元，用于当包含的音频标签或视频标签是单路时，判断所述广播终端或观众终端为单流终端。

优选地，所述编码单元包括：