[发明专利]一种实时音频流的比对方法和系统

说明书

本发明涉及一种实时音频流的比对方法和系统，属于音频处理技术领域，解决了现有对音频的微小变化不敏感和识别灵敏度不高的问题。包括接收实时主备音频流，预处理后得到主备音频帧信号；对主备音频帧信号提取logfbank特征向量并转换为0‑1向量，得到待比对的主备音频帧指纹数据；将待比对的主备音频帧指纹数据分别加入主备队列中，依次通过初始匹配和连续匹配获取匹配帧，根据匹配帧的位置差得到延迟时间；其中初始匹配用于获取初始匹配帧；连续匹配根据初始匹配帧，获取待比对的音频对矩阵并依次比对，若获取到匹配帧则更新初始匹配帧，重新获取待比对的音频对矩阵并依次比对；否则更新主备队列，重新进行初始匹配。实现了鲁棒的高灵敏度音频比对。

技术领域

本发明涉及音频处理技术领域，尤其涉及一种实时音频流的比对方法和系统。

背景技术

在广播播音领域，为了保证安全播出，通常采用独立的主备路流进行传输，同时需要实时监测两路流的数据是否一致。如果主路流受到干扰影响，通过对主备路流的比对即可发现存在异常，然后切换备路流就可以保证广播播出不受影响。因此，音频流的比对是一种保证安全播出的常用技术手段。

在广播播出过程中，经常需要进行音频流的时间对齐操作，通常采用的方式就是对流增加延迟。有时瞬间的延迟增加会造成明显的声音改变，对节目收听造成明显的干扰，因此为了保证延迟的平稳性，需要采用逐步增加延迟的方式，例如，1秒的延迟可能需要30秒的过程才能完成，而10秒则需要5分钟时间。由于在增加延迟的过程中，虽然人耳几乎无感知，但整个音频数据流已经发生了微小形变，这样导致传统的严格的数据比对方式失效，系统会判定这段时间的音频数据为异常，使得原本正常的播出发出异常报警。

为了处理这种误报问题，需要支持对两路近似的音频流进行比对，同时保证对微小的干扰依然具备良好的识别能力。此外为了保证报警的及时性，整个处理过程必须具备高实时性。

在实时音频流的比对方面，目前的主流方式主要有两种：第一种是直接对音频流数据进行比对，第二种是将音频流转换为频谱后比对。目前这两种方式，从效果上看，第一种方式只适合变化极小的两路流数据，一旦有微小的声音形变，比如由设备编解码，或者延迟等造成，则容易造成比对失败；第二种方式使用频谱进行比对，一般精度在秒级，同时无法检测到一些明显的干扰音，漏检率较高。

发明内容

鉴于上述的分析，本发明实施例旨在提供一种实时音频流的比对方法和系统，用以解决现有对音频的微小变化不敏感和识别灵敏度不高的问题。

一方面，本发明实施例提供了一种实时音频流的比对方法，包括如下步骤：

接收实时主备音频流，预处理后得到主备音频帧信号；

对所述主备音频帧信号中每个音频帧提取logfbank特征向量，并将logfbank特征向量转换为0-1向量，得到待比对的主备音频帧指纹数据；

将待比对的主备音频帧指纹数据分别加入主备队列中，依次通过初始匹配和连续匹配，获取匹配帧，根据匹配帧的位置差得到延迟时间；

其中，在初始匹配过程中，依次将主队列中的每个音频帧与备队列中的每个音频帧进行比对，获取音频帧的相似度满足阈值条件的一对音频帧作为第一匹配帧，根据第一匹配帧获取初始匹配帧；在连续匹配过程中，根据初始匹配帧，获取待比对的音频对矩阵并对矩阵中的音频对进行依次比对，若获取到匹配帧，则将初始匹配帧更新为匹配帧，重新获取待比对的音频对矩阵并依次比对；若未获取到匹配帧，则更新主备队列，重新进行初始匹配获取初始匹配帧。

基于上述方法的进一步改进，将logfbank特征向量转换为0-1向量包括：

比较logfbank特征向量中每相邻两个特征值的差值，如果差值大于0，则置为1，如果差值小于等于0，则置为0。

基于上述方法的进一步改进，在初始匹配过程中，根据第一匹配帧获取初始匹配帧包括：