[发明专利]音视频播放同步的方法及相关系统和多媒体播放终端

说明书

技术领域

本发明涉及多媒体技术领域，特别涉及一种音视频播放同步的方法及相关系统及多媒体播放终端。

背景技术

音视频媒体间同步是多媒体系统服务质量(Quality of Service，QoS)研究中的一项重要内容。在网络上传输多媒体数据时，由于终端对数据的处理方式，以及网络中的延时、抖动，会引起音视频流的不同步。传统的音视频播放的解决方案往往存在实时性差，时间开销大，且无法动态地适应动态网络环境等缺陷，导致用户观看体验不好。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种音频视频播放同步的方法及装置。

第一方面，本发明实施例提供一种音视频播放同步的方法，包括：

分别对接收的音频帧和视频帧进行解码，将解码后的音频帧数据存入第一循环缓冲区，将解码后的视频帧数据存入第二循环缓冲区；

从第一循环缓冲区中定时读取音频帧数据并播放；

当第二循环缓冲区中接收到一个完整的视频帧数据时，判断所述视频帧数据是否与当前正在播放的音频帧数据同步；

若同步，读取所述视频帧数据并播放。

在一个实施例中，所述接收的音频帧具有时间戳TAUDIO和所述视频帧具有时间戳TVIDEO；

所述判断所述视频数据是否与当前正在播放的音频数据同步，包括：

判断所述视频帧数据的时间戳TAUDIO和当前正在播放的的音频帧数据TVIDEO是否满足：TAUDIO-TMAX≤TVIDEO≤TAUDIO+TMAX；

当满足时，确定所述视频帧数据与当前正在播放的音视频数据同步；

上式中，TMAX为预设的音视频帧不同步的最大可容忍时间。

在一个实施例中，上述方法还包括：

当判断TVIDEO>TAUDIO+TMAX时，确定所述视频帧数据滞于所述音频帧数据，丢弃该视频帧数据；

当判断TVIDEO<TAUDIO-TMAX时，确定所述视频帧数据超前于所述音频帧数据，等待下次读取音频帧时进行播放。

在一个实施例中，在所述第一循环缓冲区定时读取音频帧数据之前，还包括：

判断所述第一循环缓冲区是否被充满；

如果已充满，则转向定时读取音频帧数据并播放的步骤。

在一个实施例中，所述第一循环缓冲区的空间大小满足：可存储的解码后音频帧数据的块数的门限值为N，所述N大于音频帧的最大抖动时间。

在一个实施例中，所述方法还包括：

对视频帧数据的丢失和延迟抖动进行统计；向发送端反馈QoS报告；所述QoS报告包含丢包率和延迟抖动，以便发送端根据所述报告调整视频的空域质量和/或时域质量。

第二方面，本发明实施例提供一种多媒体播放终端，包括：

解码模块，用于分别对接收的音频帧和视频帧进行解码；

缓存模块，用于将解码后的音频帧数据存入第一循环缓冲区，将解码后的视频帧数据存入第二循环缓冲区；

同步判读模块，用于当第二循环缓冲区中接收到一个完整的视频帧数据时，判断所述视频帧数据是否与当前正在播放的音频帧数据同步；

播放模块，用于从第一循环缓冲区中定时读取音频帧数据并播放；以及当所述同步模块判断所述视频帧数据与当前正在播放的音频帧数据同步时，读取所述视频帧数据并播放。

在一个实施例中，所述接收的音频帧具有时间戳TAUDIO和所述视频帧具有时间戳TVIDEO；

所述同步判断模块，具体用于判断所述视频帧数据的时间戳TAUDIO和当前正在播放的的音频帧数据TVIDEO是否满足：TAUDIO-TMAX≤TVIDEO≤TAUDIO+TMAX；当满足时，确定所述视频帧数据与当前正在播放的音视频数据同步；上式中，TMAX为预设的音视频帧不同步的最大可容忍时间。

在一个实施例中，上述终端，还包括：视频帧丢弃模块；

所述同步判断模块，还用于当判断TVIDEO>TAUDIO+TMAX时，确定所述视频帧数据滞于所述音频帧数据；以及当判断TVIDEO<TAUDIO-TMAX时，确定所述视频帧数据超前于所述音频帧数据；

所述视频帧丢弃模块，用于当所述同步判断模块判断所述视频帧数据滞于所述音频帧数据时，丢弃该视频帧数据；

所述播放模块，还用于当所述同步判断模块判断所述视频帧数据超前于所述音频帧数据时，等待下次读取音频帧时进行播放。