[发明专利]直播系统混流过程中音视频对齐的方法、设备及存储介质

权利要求书

1.一种直播系统混流过程中音视频对齐的方法，其特征在于，包括如下步骤：

拉取第一直播流进行解封装解码输出第一数据结构，所述第一数据结构中包含若干原始帧，对每一所述原始帧进行标记；

将每一所述原始帧和对应的所述标记进行映射生成映射表；

将第一数据结构作为输入进行编码，输出第二数据结构，所述第二数据结构包含第二直播流，所述第二直播流包括若干路不同码率的直播流子单元，若干不同码率的所述直播流子单元均包括若干编码帧和若干数据增强信息，每一所述数据增强信息对应一个所述编码帧；

将所述映射表中的标记写入对应的所述编码帧的所述数据增强信息中；

获取所述第二数据结构中的所述第二直播流，根据所述第二直播流录制解说内容以获得解说直播流，将解说直播流加入到码率相对应的所述直播流子单元中形成混合直播流子单元，所述混合直播流子单元保留写入所述标记的所述数据增强信息；

将所述混合直播流子单元和其余所述直播流子单元传输到云端并在所述云端进行解析，获取所述混合直播流子单元中的编码帧对应的标记和其余所述直播流子单元的编码帧对应的标记，将所述标记相同的编码帧进行混流得到第三直播流。

2.根据权利要求1所述的直播系统混流过程中音视频对齐的方法，其特征在于，所述将每一所述原始帧和对应的所述标记进行映射生成映射表，进一步包括：

对所述第一数据结构中的原始帧进行帧数统计，并将所述原始帧按时间顺序标记上对应的序列号；

将每一原始帧对应的序列号和所述原始帧对应的标记进行映射得到映射表。

3.根据权利要求1所述的直播系统混流过程中音视频对齐的方法，其特征在于，所述第二直播流包括高码率直播流子单元和低码率直播流子单元。

4.根据权利要求3所述的直播系统混流过程中音视频对齐的方法，其特征在于，所述获取所述第二数据结构中的所述第二直播流，根据所述第二直播流录制解说内容以获得解说直播流，将解说直播流加入到码率相对应的所述直播流子单元中形成混合直播流子单元，所述混合直播流子单元保留写入所述标记的所述数据增强信息，进一步包括：

获取第二直播流，根据所述第二直播流录制解说内容以获得解说直播流，将解说直播流加入到低码率直播流子单元形成混合直播流子单元，所述混合直播流子单元保留写入所述标记的所述数据增强信息。

5.根据权利要求4所述的直播系统混流过程中音视频对齐的方法，其特征在于，所述将所述混合直播流子单元和其余所述直播流子单元传输到云端并在所述云端进行解析，获取所述混合直播流子单元中的编码帧对应的标记和其余所述直播流子单元的编码帧对应的标记，将所述标记相同的编码帧进行混流得到第三直播流，进一步包括：

将所述混合直播流子单元和所述高码率直播流子单元传输到云端并在所述云端进行解析，获取所述混合直播流子单元中的编码帧对应的标记和所述高码率直播流子单元的编码帧对应的标记，将所述标记相同的编码帧进行混流得到第三直播流。

6.根据权利要求1所述的直播系统混流过程中音视频对齐的方法，其特征在于，于将所述映射表中的标记写入对应的所述编码帧的所述数据增强信息中步骤之前，对所述第二数据结构中的帧数进行统计。

7.根据权利要求1所述的直播系统混流过程中音视频对齐的方法，其特征在于，所述第一数据结构为AVFrame结构体，对应的所述第二数据结构为AVpacket结构体。

8.根据权利要求1所述的直播系统混流过程中音视频对齐的方法，其特征在于，所述解说音频流的数量为一个或者多个。

9.一种直播系统混流过程中音视频对齐的设备，其特征在于，包括：

存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；

所述至少一个处理器调用所述存储器中的所述指令，以使得所述直播系统混流过程中音视频对齐的装置执行如权利要求1-8中任意一项所述的直播系统混流过程中音视频对齐的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8中任意一项所述的直播系统混流过程中音视频对齐的方法。