[发明专利]音频中音乐及音乐相对响度的联合检测方法

说明书

本发明公开了一种音频中音乐及音乐相对响度的联合检测方法，其包括获取待检测音频，并对其进行预处理得到音频特征；将音频特征作为网络输入序列输入双任务音乐检测网络模型，输出每个时间步的三个预测分数；基于预测分数≥设定阈值或＜设定阈值时标记为1或0，将每个时间步的预测分数转换成大小为(3,)的0‑1预测向量，采用所有时间步的预测向量形成音乐相对响度检测序列；将预测向量的二三位置采用逻辑或运算合并得到大小为(2,)的0‑1预测向量，采用逻辑或运算得到的所有预测向量形成音乐检测序列；将音乐相对响度检测序列和音乐检测序列转为可读的标注，得到音频包括起始时间、结束时间和类别的标注文件。

技术领域

本发明涉及音乐检测技术，具体涉及一种音频中音乐及音乐相对响度的联合检测方法。

背景技术

音乐检测是音乐信息检索任务的一种，音乐检测是指给定一个音频文件，判断其中是否含有音乐片段以及出现音乐片段的起止位置。音乐检测任务的两个主要应用是：(1)基于音频内容对听觉信息进行自动索引和检索；(2)监测音乐以进行版权管理。此外，音乐检测还可以作为其他音乐信息检索任务的中间步骤并提高其他音乐信息检索算法的性能。

音乐检测任务最初仅关注于对音频文件中音乐声和人说话声这两种类别的声音信息进行区分(此外的声音被标注为噪音)。考虑到音乐检测在版权管理方面具有重要的应用意义，工业界已不满足于仅检测出是否存在音乐，还需要算法估计出检测到的音乐是以前景声音出现的还是背景声音出现的。至此，音乐检测任务分化出两个子任务：检测音乐是否存在以及检测音乐的相对响度(相对于其他同时出现的非音乐声音，判断音乐是前景音乐还是背景音乐)。

现有的大部分音乐检测技术仍停留在对人声和音乐声的区分上，并未考虑对音乐的相对响度进行估计，使得音乐检测的效果欠佳。

发明内容

针对现有技术中的上述不足，本发明提供的音频中音乐及音乐相对响度的联合检测方法能够实现音乐及音乐相对响度的同时检测，并能提高检测精度。

为了达到上述发明目的，本发明采用的技术方案为：

提供一种音频中音乐及音乐相对响度的联合检测方法，其包括：

S1、获取待检测音频，并对其进行预处理得到音频特征；

S2、将音频特征作为网络输入序列输入双任务音乐检测网络模型，输出每个时间步的三个预测分数，预测分数分别对应于无音乐、背景音乐和前景音乐；

S3、基于预测分数≥设定阈值或＜设定阈值时标记为1或0，将每个时间步的预测分数转换成大小为(3,)的0-1预测向量，采用所有时间步的预测向量形成音乐相对响度检测序列；

S4、将预测向量的二三位置采用逻辑或运算合并得到大小为(2,)的0-1预测向量，采用逻辑或运算得到的所有预测向量形成音乐检测序列；

S5、将音乐相对响度检测序列和音乐检测序列转为可读的标注，得到音频包括起始时间、结束时间和类别的标注文件。

本发明的有益效果为：本方案处理得到的音频特征考虑了时序关系，音频特征输入双任务音乐检测网络模型后得到每个时间步的时频的三个预测分数保持了各时间步长上音频的前后关系；

通过对得到的两个检测序列进行标注，可以得到比较直观表征待检测音频在哪些时段是否存在音乐，且分别为前景音乐还是背景音乐的标注文件，标注文件由于保持了各个时间步长上音频的前后关系，从而使得本方案可以取得更优的检测结果。

附图说明

图1为音频中音乐及音乐相对响度的联合检测方法的流程图。

图2为双任务音乐检测网络的结构示意图。

图3为本方案的音频中音乐及音乐相对响度的联合检测方法标注效果示意图。

具体实施方式