[发明专利]一种音视频的合成方法及系统

权利要求书

1.一种音视频的合成方法，其特征在于，所述方法包括：

接收导播客户端发来的视频合成指令，并基于多个视频输入流合成第一视频流，以及基于所述多个视频流和所述第一视频流，合成第二视频流；

接收所述导播客户端发来的音频合成指令，并基于多个音频输入流，分别合成第一音频流和第二音频流；

分别对所述第一视频流、所述第二视频流、所述第一音频流以及所述第二音频流进行多版本的编码，得到对应的第一视频编码流集合、第二视频编码流集合、第一音频编码流集合以及第二音频编码流集合；

分别从所述第一视频编码流集合和所述第一音频编码流集合中确定第一视频编码流和/或第一音频编码流，并将所述第一视频编码流和/或所述第一音频编码流整合为第一输出流，并向用户客户端提供所述第一输出流；

分别从所述第二视频编码流集合和所述第二音频编码流集合中确定第二视频编码流和/或第二音频编码流，并将所述第二视频编码流和/或所述第二音频编码流整合为第二输出流，并向所述导播客户端提供所述第二输出流;

其中，在合成第二音频流之后，所述方法还包括：

接收所述导播客户端发来的包含音频合成参数的调控指令，并按照所述音频合成参数对所述第二音频流进行调整，并向所述导播客户端反馈调整后的第二音频流；

接收所述导播客户端发来的音频同步指令，按照所述音频合成参数对所述第一音频流进行调整，并向所述用户客户端提供调整后的第一音频流；

分别对所述第一视频流、所述第二视频流、所述第一音频流以及所述第二音频流进行多版本的编码包括：

实时获取每一路输出流所需的视频编码参数和音频编码参数，以确定所需的编码参数集合；

将所述所需的编码参数集合与当前的编码参数集合进行对比，若两者不一致，确定在所述所需的编码参数集合中新增的视频编码参数和/或音频编码参数，并将所述新增的视频编码参数和/或音频编码参数添加至所述当前的编码参数集合中。

2.根据权利要求1所述的方法，其特征在于，在接收导播客户端发来的视频合成指令之前，所述方法还包括：

接收所述导播客户端发来的拉流指令，并获取多路音视频数据流；

将所述音视频数据流解码为视频数据流和音频数据流，并将解码得到的所述视频数据流和所述音频数据流分开缓存；

相应地，所述多个视频输入流和所述多个音频输入流分别从所述视频数据流和所述音频数据流各自的缓存中读取得到。

3.根据权利要求1所述的方法，其特征在于，基于多个视频输入流合成第一视频流包括：

响应于所述视频合成指令，从所述多个视频输入流中确定一个或者多个目标视频输入流，并将所述一个或者多个目标视频输入流的视频画面整合至一个视频画面中，并将整合得到的视频画面对应的视频流作为所述第一视频流。

4.根据权利要求1所述的方法，其特征在于，基于所述多个视频流和所述第一视频流，合成第二视频流包括：

将所述第一视频流的视频画面以及所述多个视频输入流的视频画面整合至一个视频画面中，并将整合得到的视频画面对应的视频流作为所述第二视频流。

5.根据权利要求3或4所述的方法，其特征在于，在将多个视频画面整合至一个视频画面中时，所述方法还包括：

预先创建与整合后的视频画面的分辨率相符的背景画面，并确定待整合的各个视频画面的整合参数，其中，所述整合参数包括画面大小、所处位置、叠加层级中的至少一种；

按照所述整合参数，将所述待整合的各个视频画面添加于所述背景画面上，以形成整合的视频画面。

6.根据权利要求1所述的方法，其特征在于，在分别合成第一音频流和第二音频流时，所述方法还包括：

判断所述音频合成指令中是否包含音频复制指令，若包含，复制所述第一音频流，并将复制的数据作为所述第二音频流。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收所述导播客户端发来的音频切换指令，并响应于所述音频切换指令，将所述第一输出流发送至所述导播客户端。