[发明专利]直播系统混流过程中音视频对齐的方法、设备及存储介质

说明书

本发明提供了一种直播系统混流过程中音视频对齐的方法、设备及存储介质，包括拉取第一直播流进行解封装解码输出第一数据结构，对第一数据结构中的原始帧进行标记；将原始帧和标记进行映射生成映射表；将第一数据结构进行编码并输出包含第二直播流的第二数据结构，第二直播流中的若干不同码率的直播流子单元均包括编码帧和数据增强信息；将标记写入编码帧的数据增强信息中；获取第二直播流，录制解说直播流，将解说直播流加入到码率相对应的直播流子单元中形成混合直播流子单元且保留写入标记的数据增强信息；将混合直播流子单元和其余直播流子单元在云端进行解析，进行混流得到第三直播流。本发明具有成本低，且能够满足不同的用户喜好的优点。

技术领域

本发明涉及视频直播技术领域，具体地，涉及直播系统混流过程中音视频对齐的方法、设备及存储介质。

背景技术

随着时代的发展，直播行业有了质的飞跃，对高清画质、低延时、声画同步等问题已经优化到了极致，然而用户的需求并不满足于此。

在某些场景例如各大体育赛事、各大游戏赛事等，解说一般都是通过现场直播间或后方直播间进行制作，可以理解的是，上述方案中，解说员需要聚集在一个直播间对比赛进行解说，上述方式存在如下问题：

1、如果需要较多的解说人员，那么对网络环境要求就会增高，较高的网络环境会消耗巨大的成本，因此增加解说人员相对不易；

2、因为需要解说员聚集在一起，场地问题会限制解说人员增加的数量；

3、在解说人员数量增加后，对应的对服务器的性能的要求也会提升，因此，会增加服务器的硬件成本。

因此，现有模式中，如果需要增加解说人员十分不方便，但是，不同地区和不同年龄段的观众，会对解说风格有着不同的喜好，在解说人员数量存在限制的情况下，无法更好的满足不同观众的喜好，就会造成用户的流失状况。对于赛事方和直播端都是很大的损失。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种直播系统混流过程中音视频对齐的方法，包括如下步骤：

拉取第一直播流进行解封装解码输出第一数据结构，第一数据结构中包含若干原始帧，对每一原始帧进行标记；

将每一原始帧和对应的标记进行映射生成映射表；

将第一数据结构作为输入进行编码，输出第二数据结构，第二数据结构包含第二直播流，第二直播流包括若干路不同码率的直播流子单元，若干不同码率的直播流子单元均包括若干编码帧和若干数据增强信息，每一数据增强信息对应一个编码帧；

将映射表中的标记写入对应的编码帧的数据增强信息中；

获取第二数据结构中的第二直播流，根据第二直播流录制解说内容以获得解说直播流，将解说直播流加入到码率相对应的直播流子单元中形成混合直播流子单元，混合直播流子单元保留写入标记的数据增强信息；

将混合直播流子单元和其余直播流子单元传输到云端并在云端进行解析，获取混合直播流子单元中的编码帧对应的标记和其余直播流子单元的编码帧对应的标记，将标记相同的编码帧进行混流得到第三直播流。

可选地，将每一原始帧和对应的标记进行映射生成映射表，进一步包括：

对第一数据结构中的原始帧进行帧数统计，并将原始帧按时间顺序标记上对应的序列号；

将每一原始帧对应的序列号和原始帧对应的标记进行映射得到映射表。

可选地，第二直播流包括高码率直播流子单元和低码率直播流子单元。

可选地，获取第二数据结构中的第二直播流，根据第二直播流录制解说内容以获得解说直播流，将解说直播流加入到码率相对应的直播流子单元中形成混合直播流子单元，混合直播流子单元保留写入标记的数据增强信息，进一步包括：