[发明专利]一种基于HLS协议的音视频同步装置和方法

说明书

技术领域

本发明涉及流媒体播放技术领域，尤其涉及一种基于HLS协议的音视频同步装置和方法。

背景技术

HLS（Http live streaming）协议是苹果公司实现的基于超文本传输协议Http的流媒体传输协议，HLS协议将容量巨大的连续媒体数据进行分段，分割为数量众多的小文件进行传递，迎合了网页服务器的文件传输性，采用一个不断更新的轻量级索引文件来控制分割后小媒体文件的下载和播放，可以实现流媒体的直播和点播。HLS协议在优先考虑流畅性的前提下支持码率的自动切换，目前被各大视频网站广泛使用。

通过HLS协议，多媒体数据经处理后分为音视频数据ts文件以及索引m3u8文件，并存在于云服务器上。m3u8文件实际上只是一种文件组的组织形式，将音视频数据ts文件以播放列表的形式组织在一起以供播放器下载和播放。m3u8文件中通常包括音视频数据ts文件的多个统一资源定位符URL。播放器获取m3u8文件后，进而按照其中的URL下载对应的音视频数据。对于下载好的音视频数据，请参考图1，先将该音视频数据解复用为音频数据和视频数据，然后解码该音频数据和视频数据，输出待播放的音频信号和待播放的视频信号，最后输出待播放的音频信号和待播放的视频信号，以实现音视频数据的播放。

由于网络传输的复杂因素，在上述音视频数据播放的过程中，音频和视频同步精度不确定，受异常情况影响较大。因此，会产生由于待播放的音频信号和待播放的视频信号持续不能同步而带来的画面或者声音滞留。

综上，一种基于HLS协议的音视频同步方法和装置是亟待提供的。

发明内容

有鉴于此，本发明提供一种基于HLS协议的音视频同步装置和方法，解决待播放的音频信号和待播放的视频信号持续不同步而带来的画面或者声音滞留。

具体地，所述装置包括顺次设置的标记模块、解复用模块、解码模块、检测模块以及播放模块，其中：

所述标记模块，用于在接收同步请求后，为获取到的首个音视频数据添加同步标记，并通知播放模块；

所述解复用模块，用于将所述音视频数据解复用为音频数据和视频数据，并根据所述同步标记，更新音频数据和/或视频数据的时间戳；

所述解码模块，用于解码所述音频数据和视频数据，输出待播放的音频信号和待播放的视频信号；

所述检测模块，用于检测所述待播放的音频信号和待播放的视频信号中携带的时间戳是否一致，在待播放的音频信号和待播放的视频信号中携带的时间戳不一致时，发送同步请求给标记模块；

所述播放模块，用于根据所述同步标记控制所述待播放的音频信号和待播放的视频信号同步输出。

进一步地，所述检测模块，用于如果所述待播放的音频信号和待播放的视频信号中携带的时间戳在预定的时间内都不一致时，发送同步请求给标记模块。

进一步地，所述解复用模块更新音频数据和/或视频数据的时间戳的过程包括：所述解复用模块根据所述音频数据的时间戳修正所述视频数据的时间戳。

进一步地，所述解复用模块更新音频数据和/或视频数据的时间戳的过程包括：所述解复用模块根据所述音视频数据的时间戳修正所述音频数据和视频数据的时间戳。

进一步地，所述播放模块根据所述同步标记控制所述待播放的音频信号和待播放的视频信号同步输出的过程包括：将携带同步标记的待播放的音频信号或者待播放的视频信号存储在输出缓存区，等待接收到携带同步标记的待播放的视频信号或者待播放的音频信号后，控制携带同步标记的待播放的音频信号和待播放的视频信号同步输出。

所述方法包括：

在接收同步请求后，为获取到的首个音视频数据添加同步标记；

将所述音视频数据解复用为音频数据和视频数据，并根据所述同步标记，更新音频数据和/或视频数据的时间戳；

解码所述音频数据和视频数据，输出待播放的音频信号和待播放的视频信号；

检测所述待播放的音频信号和待播放的视频信号中携带的时间戳是否一致，在待播放的音频信号和待播放的视频信号中携带的时间戳不一致时，发送同步请求；

根据所述同步标记控制所述待播放的音频信号和待播放的视频信号同步输出。

进一步地，所述方法还包括：

如果所述待播放的音频信号和待播放的视频信号中携带的时间戳在预定的时间内都不一致时，发送同步请求。

进一步地，所述更新音频数据和/或视频数据的时间戳的过程包括：根据所述音频数据的时间戳修正所述视频数据的时间戳。