[发明专利]一种音视频同步的实现方法及系统

说明书

技术领域

本发明涉及多媒体技术领域，尤其涉及一种音视频同步的实现方法及系统。

背景技术

音视频同步是同步采集的声音和视频图像信号在再现过程中保持同步的程度。

随着网络和高新技术的发展，音视频传输由同轴电缆发展到由网络传输，采集到的原始音视频数据需要压缩编码，经网络传输到接受端后进行实时播放或存储。在接收端无论是对实时视频还是存储的历史视频进行播放，都需要对压缩的音视频数据进行解码，获得原始音视频数据。若同步采集到的原始音视频数据独立编码、传输，存储，那么在接收再现端，就需要采用音视频同步技术来保证同步播放。

目前，比较常用的音视频同步技术有：

多路复用同步技术：将多个媒体流的数据多路复用到一个数据流或一个报文中。它简化了媒体流间的同步；不需要附加控制信道和同步化时钟。但是，浪费带宽资源，复用算法也比较复杂，不适合媒体流来源于不同节点的情况。

时间戳同步技术：将媒体数据按时间顺序作时间戳，相同时间戳数据同时播放。它不需要额外的同步信息，不改变原始数据流。但是，读写时间戳开销大。

同步信道技术：媒体在分离的信道传输，同步信息通过同步信号来单独传输。它的优点是能支持复杂的同步关系，可用于直连设备；不需要时钟同步。但是同步信息可能丢失。

基于反馈的同步技术：根据接收端失调检测信息，在发送端或接受端进行同步控制，虽然适用于网络环境，但是具有一定的滞后性，实时性差。

从技术上来说，解决音视频同步问题的最佳方案就是时间戳。通常的做法是首先选择一个参考时钟，在播放时，读取数据块上的时间戳，同时参考当前时钟上的时间来安排播放，如果数据块的开始时间大于当前参考时钟上的时间，则不急于播放该数据块，直到参考时钟达到数据块的开始时间；如果数据块的开始时间小于当前参考时钟上的时间，则“尽快”播放这块数据或者索性将这块数据“丢弃”，以使播放进度追上参考时钟。

发明内容

本发明的发明目的在于，提出一种音视频同步的实现方法及系统，其将音频播放时钟作为同步时钟，控制视频播放速度同步到音频播放时钟上，保证音视频数据的流畅播放，使音视频同步无滞后，无延迟。

为实现上述目的，本发明提供一种音视频同步的实现方法。该方法包括：

步骤1，内存管理模块将传输的视频数据包和音频数据包存入内存；

步骤2，解码模块读取所述视频数据包和音频数据包后分别对其进行解析处理，得到音频帧、当前音频播放时钟和视频帧、当前视频播放时钟，执行步骤3和步骤4；

步骤3，音频播放模块根据所述当前音频播放时钟播放相应的音频帧；

步骤4，依据ITU-R BT.1359-1标准获得第一阈值threshold1和第二阈值threshold2，然后时间控制模块根据所述当前音频播放时钟和当前视频播放时钟的差值Diff判断音视频是否同步，若Diff在threshold1与threshold2范围之内，则音视频同步，否则为音视频失同步，将所述当前音频播放时钟作为同步时钟，控制当前视频播放时钟速度同步到当前音频播放时钟上，执行步骤5；

步骤5，视频播放模块根据同步后的视频播放时钟播放相应的视频帧。

当Diff＞threshold2时，音频播放速度快于视频图像显示速度，进行以下处理：

如果Diff的绝对值小于播放当前一帧持续时间,则播放当前视频帧，继续读取音视频包，循环到计算Diff步骤；

如果Diff的绝对值大于播放下一帧视频的持续时间，则跳过此视频帧不播，继续读取视频包，获得下一帧视频播放时钟，根据所述当前音频播放时钟和所述下一帧视频播放时钟的差值判断音视频是否同步。

音频开始播放时，设置视频总延迟量并初始化视频总延迟量，当Diff＜threshold1时，音频播放速度落后于视频图像显示速度，则需要延迟所述当前视频播放时钟使音视频同步。

延迟所述当前视频播放时钟为：

计算延迟差值delay_Diff，如果delay_Diff＜threshold1,则增加一倍延迟后重新计算delay_Diff，并与threshold1,threshold2进行比较，直到delay_Diff在threshold1与threshold2范围内;

如果delay_Diff＞threshold2,则减少一半延迟时间后重新计算delay_Diff，并与threshold1,threshold2进行比较，直到delay_Diff在threshold1与threshold2范围内；