[发明专利]音视频同步方法、系统、计算机装置及计算机可读存储介质

说明书

技术领域

本发明属于音视频技术领域，尤其涉及一种音视频同步方法、系统、计算机装置及计算机可读存储介质。

背景技术

音频与视频的同步技术是多媒体服务中最重要的核心部分，媒体播放如果在音视频上不同步则会直接影响用户的观感体验。因此，音视频同步技术领域的发展，可谓是各具特色，各有千秋。不同的产品，不同的应用场景需要设计相适应的同步技术。不同的技术实现对于同步的精度控制，平滑效果，异常处理等都会表现出不同的性能，但最终目的都是一致的，即使音频与视频达到一致同步的播放，呈现最佳视觉听觉体验。

目前市场现有的实时MPEG播放器，对于音视频同步设计及处理不尽相同，大多数是使用第三方音频解码库，如FFMPEG，VLC等。但是，由于第三方音频解码库在使用时需要支付大量的使用费，成本过高，因此通常会采用AudioQueue处理MPEG TS实时流节目。

AudioQueue是Mac OS X与iPhone中提供录音、播放功能的高级框架，比AudioUnit等框架更方便，因此，目前广泛的应用在音视频技术中。

目前，在基于AudioQueue的音频处理框架下，进行音频播放时，由于AudioQueue是一套封闭性套件模块，输入的是原始音频单元流，即压缩的未解码数据，对于内部数据的缓冲，流动及解码输出不能实时捕获，因此不能直接得到当前音频帧输出的流时间。而这个流相对时间对于音视频同步极其重要，视频帧是参考这个时间进行输出渲染，因此不能得到准确的时间戳，视频帧则不能准确的输出，造成音视频不能同步播放的问题。

发明内容

本发明提供一种音视频同步的方法，旨在解决现有技术中，在基于AudioQueue的音频处理框架下，进行音频播放时，不能得到准确的流时间，视频帧不能准确的输出，造成音视频不能同步播放的问题。

本发明是这样实现的，一种音视频同步方法，包括：

获取音频帧数据以及视频帧数据；

根据所述音频帧数据的起始播放流时间以及播放时长获取同步时间基准；

根据所述视频帧数据，获取当前待播放视频帧数据以及所述待播放视频帧数据对应的时间信息；

判断所述时间信息是否大于所述同步时间基准；

当判断结果为否时，判断所述时间信息与所述同步时间基准之间的时间差是否大于预设阈值；

当判断结果为否时，输出所述待播放视频帧数据。

本发明还提供了一种音视频同步系统，包括：

音视频帧数据获取单元，用于获取音频帧数据以及视频帧数据；

第一同步时间获取单元，用于根据所述音频帧数据的起始播放流时间以及播放时长获取同步时间基准；

视频帧数据控制单元，用于根据所述视频帧数据，获取当前待播放视频帧数据以及所述待播放视频帧数据对应的时间信息；

第一判断单元，用于判断所述时间信息是否大于所述同步时间基准；

第二判断单元，用于当判断结果为否时，判断所述时间信息与所述同步时间基准之间的时间差是否大于预设阈值；

视频显示单元，用于当判断结果为否时，输出所述待播放视频帧数据。

本发明实施例还提供了一种计算机装置，所述计算机系统包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现上述音视频同步方法的步骤。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序(指令)，其特征在于，所述计算机程序(指令)被处理器执行时实现上述音视频同步方法的步骤。

本发明实施例中，提供了一种基于Audio Queue框架下的音视频同步方法，通过获取音频帧数据以及视频帧数据，并根据音频帧数据的起始播放流时间以及播放时长获取同步时间基准，根据音频帧数据获取视频帧数据以及所述视频帧数据对应的时间信息，并在该同步时间基准与该时间信息之间的差值小于预设预设阈值时，输出视频帧，以实现音视频同步，通过对音频帧数据以及视频帧数据在缓冲、解码以及渲染等过程中的时间戳进行获取，并计算，以使视频帧根据同步时间基准进行播放，有效解决现有技术，在进行音频播放时，不能得到准确的时间戳，视频帧则不能准确的输出，造成音视频不能同步播放的问题。

附图说明

图1是本发明实施例提供的一种音视频同步系统的实施场景图；

图2是本发明实施例提供的一种音视频同步方法的实现流程图；

图3是本发明实施例提供的一种时间信息获取方法的实现流程图；