[发明专利]一种用于检测音视频同步性的方法及装置

说明书

本发明提出一种用于检测音视频同步性的方法及装置，属于音视频同步性检测技术领域。本发明针对音视频同步检测装置无法判断解码器音视频同步的纠正能力问题；对同一时刻采集的原始音视频序列进行编码，编码后的网络包打上代表采集时间的时间戳信息，并将时间戳对应的音频包和视频包以前后具有一定延时方式发送至待测设备。待测设备收到音视频数据包后，不会立刻解码播放，会根据时间戳信息，采取一定调整策略进行音视频同步后播放，本发明对播放的原始音视频进行特征提取，判断音视频不同步的延时大小，并与发包时的延时进行比较，以此判断解码器音视频同步的纠正能力。

技术领域

本发明属于音视频同步性检测技术领域，尤其涉及一种用于检测音视频同步性的方法及装置。

背景技术

所有的基于网络传输的音视频采集播放系统都会存在音视频同步的问题，因为网络对不同包的延时情况不同，所以同一时间发出的音频包和视频包不会同时到达接收端，如果接收端不进行任何处理就解码播放，便会出现音视频不同步现象，在丢包网络环境下，要通过一段时间的处理才能继续解码播放视频，这就造成了视频严重滞后于音频的现象。

音视频同步解决方法通常是在解码播放端增加时延，将不同时间到达的音视频包存入缓冲中，通过音视频包中携带的时间戳信息，将发送端相同时间采集的音视频同时播放，其中时间戳定义了媒体负载数据的采样时刻。传统的检测音视频同步方法都是对解码的音视频信号进行特征提取，判断播放的音视频信号是否同步。这种方法无法判断解码器音视频同步的纠正能力。

发明内容

本发明针对现有技术中的不足，提出一种用于检测音视频同步性的方案。

本发明第一方面提出一种用于检测音视频同步性的方法。所述方法利用音视频同步性检测装置对待测解码器进行音视频同步性检测，所述音视频同步性检测装置包括：采集模块、原始音频存储模块、原始视频存储模块、音频编码模块、视频编码模块、数据打包模块、延时发送模块、原始音频采集模块、原始视频采集模块、音频特征提取模块、视频特征提取模块、同步检测模块和同步能力判断模块。

所述方法具体包括：

步骤S1、所述采集模块分别从所述原始音频存储模块和所述原始视频存储模块中同时采集用于执行所述音视频同步性检测的原始音频数据和原始视频数据。

其中，所述原始音频数据在固定时间点处具有特殊音频特征，所述特殊音频特征为：在从所述固定时间点开始的固定时间间隔内将音频置为静音状态。

其中，所述原始视频数据在所述固定时间点处具有特殊视频特征，所述特殊视频特征为：在从所述固定时间点开始的所述固定时间间隔内将视频画面置为黑白。

步骤S2、所述音频编码模块和所述视频编码模块分别对所述原始音频数据和所述原始视频数据进行编码，所述数据打包模块分别对经压缩的音频数据和经压缩的视频数据进行打包，以分别获取音频数据包和视频数据包。

步骤S3、所述延时发送模块以固定发送间隔将所述音频数据包和所述视频数据包发送至所述待测解码器，所述待测解码器对所述音频数据包和所述视频数据包进行解析处理，以获取并播放所述原始音频数据和所述原始视频数据。

步骤S4、所述原始音频采集模块和所述原始视频采集模块分别采集经播放的原始音频数据和经播放的原始视频数据。

步骤S5、所述音频特征提取模块从所述经播放的原始音频数据中提取出所述特殊音频特征，并记录采集到所述特殊音频特征的时间起点，所述视频特征提取模块从所述经播放的原始视频数据中提取出所述特殊视频特征，并记录采集到所述特殊视频特征的时间起点。

步骤S6、所述同步检测模块计算采集到所述特殊音频特征的时间起点和采集到所述特殊视频特征的时间起点的差值作为第一差值，所述同步能力判断模块基于所述第一差值和所述固定发送间隔的比较结果判断所述待测解码器的音视频同步能力。