[发明专利]一种检测音频流和视频流是否同步的方法及装置

说明书

本发明公开了一种检测音频流和视频流是否同步的方法，该方法包括：获取音频流的最后一个音频帧的时间信息Pa，以及视频流的最后一个视频帧的时间信息Pv；根据预设的算法，以及所述步骤S1中获取的Pa和Pv，计算音频流播放时长Ta和视频流播放时长Tv；根据所述步骤S2中计算出的Ta和Tv，比较两者差的绝对值与预设阈值T的大小，若两者差的绝对值大于预设阈值，即|Tv‑Ta|T，则判定音频流和视频流不同步。该方法运行速度快，检测准确率高，大大节省人力对视频文件音视频流不同步的检查。

技术领域

本发明涉及音视频解码技术领域，具体为一种检测音频流和视频流是否同步的方法及装置。

背景技术

随着数字视频软硬件技术的进步以及成本的大幅下降，越来越多的行业和领域开始了数字视频的相关应用。银行、证券、保险等金融机构在销售理财产品、贵重金属、保险产品时，根据监管部门的要求必须进行录音录像(简称双录)。不仅如此，双录音视频还必须要符合监管部门的一系列规范与要求。双录视频作为一种播放展示的数字媒体，其首先需要保证其内部的音视频流均可以正常显示和播放。可以正常播放的一般包括音视频内容清晰、音视频播放流畅无卡顿、音视频同步。其中音视频同步是一个常见录制质量不合格的表现，其视频中的声音相对视频画面会出现超前或者滞后的情况。针对音视频是否同步的人工检查在视频数量较大的时候，对人的精力和耐力无疑都是严峻的考验。另一方面，人工审查则不可避免的存在效率低下、精确度较差、判断尺度不一致、成本高昂等一系列弊端。面对这一问题，通过计算机自动对双录音视频进行智能稽核开始变得势在必行。但是，通过对语音和视频画面进行语义理解再进行两者同步性分析的方法存在极大的技术难度。这是因为计算机往往难以准确理解音频和视频的语义，从而影响其对音视频是否同步的判断。

发明内容

为了克服现有技术中存在的问题，本发明提供一种检测音频流和视频流是否同步的方法，所述方法包括：

S1：获取音频流的指定音频帧的时间信息Pa，以及视频流的指定视频帧的时间信息Pv；

S2：根据预设的算法，以及所述步骤S1中获取的Pa和Pv，计算音频流播放时长Ta和视频流播放时长Tv；

S3：根据所述步骤S2中计算出的Ta和Tv，比较两者差的绝对值与预设阈值T的大小，若两者差的绝对值大于预设阈值，即|Tv-Ta|T，则判定音频流和视频流不同步。

进一步的，所述方法还包括：

S0：加载需检测的视频文件，转步骤S1；其中所述视频文件包括音频流和视频流。

进一步的，所述步骤S3还包括：根据所述步骤S2中计算出的Ta和Tv，比较两者差的绝对值与预设阈值T的大小，若两者差的绝对值不大于预设阈值，即|Tv-Ta|≤T，则判定音频流和视频流同步。

进一步的，所述步骤S1中的时间信息Pa、Pv为显示时间戳PTS；所述指定音频帧为最后一个音频帧；所述指定视频帧为最后一个视频帧。

进一步的，所述步骤S2中的预设的算法为：Tv＝Pv×Bv；Ta＝Pa×Ba；所述步骤S3中预设阈值T为3秒。

本发明还提供一种检测音频流和视频流是否同步的装置，所述装置包括：信息获取模块，用于获取音频流的最后一个音频帧的时间信息Pa，以及视频流的最后一个视频帧的时间信息Pv；时长计算模块，用于根据预设的算法，以及所述信息获取模块获取的Pa和Pv，计算音频流播放时长Ta和视频流播放时长Tv；阈值比较模块，用于根据所述时长计算模块中计算出的Ta和Tv，比较两者差的绝对值与预设阈值T的大小，若两者差的绝对值大于预设阈值，即|Tv-Ta|T，则判定音频流和视频流不同步。

进一步的，所述装置还包括：文件加载模块，用于加载需检测的视频文件，并将加载好的视频文件转入信息获取模块进行处理；其中所述视频文件包括音频流和视频流。