[发明专利]一种采用双Token标签的声事件标注及识别方法

说明书

本发明公开了一种采用双Token标签的声事件标注及识别方法，其特征在于，包括声事件标注过程和识别过程，所述声事件标注过程为：1‑1）音频标签形式；1‑2）完成数据集中所有音频标注；所述识别过程为：2‑1）构建音频数据集；2‑2）音频数据预处理和特征提取；2‑3）音频数据扩增；2‑4）搭建卷积循环神经网络；2‑5）训练卷积循环神经网络学习检测模型；2‑6）使用训练好的检测模型识别待检测音频。这种方法能在保证准确率的同时，以较小的代价拓宽声事件识别范围，可实现人们生活环境中准确的声音事件检测与监控，从而更好地服务智慧城市建设。

技术领域

本发明涉及声事件检测领域，具体是一种采用双Token标签的声事件标注及识别方法。

背景技术

在人们的生活环境中，各类声音携带了大量有关日常环境和其中发生的物理事件信息。声音事件检测(Sound Events Detection，简称SED)研究，能帮助人们更好地感知其所处声音场景，识别出各种声源类别，获得感兴趣事件的时间戳，具有重要的现实意义。可应用于城市环境噪声监控、公共场所的安全监控、室内环境中老人儿童行为监测等智慧城市与智慧家居场景，比如声监控应用场景下可以自动的检测识别枪声、尖叫声、物件燃烧声，在人机交互、听觉感知、满足社会中各类检测需求中都有重要价值。

声事件检测任务依赖于信号处理方法和机器学习模型，声事件检测模型通常由大量的带标签标注的音频数据训练得到，得到的模型可以对一段标签未知的音频做预测，通常是预测其发生的声事件所属类别和对应的时间戳。具体地，对带标注音频使用信号处理方法得到其时频域某种特征表示，将带标注的特征表示作为输入，送入机器学习模型，机器学习模型定义好损失函数和随机初始化权重参数；根据前向传播计算输出和标签的损失值，接着使用反向传播，更新权重；通过来回不断的迭代，直到损失函数很小，此时的权重参数就是声事件识别模型，得到的模型就可以对一段不知标签的音频做预测，达到声事件检测的目的。而这种迭代、更新权值的过程就是机器学习训练过程。由于机器学习遵从“garbage in,garbage out”的原则，标注数据的准确度、好坏程度、数据量的大小极大的影响了检测模型的效果。数据的标注有强标签标注(准确标注其声事件类别和时间戳、体现了一段音频中声事件数量及位置)和弱标签标注(仅标注某类声事件出现与否、无法体现其音频中发声了几次和在什么时间点发生)。

数据量和标注通常不能兼顾：若对音频数据进行强标注，训练模型就能获得更准确详细的标签描述，并预测出可能重叠的声事件的开始和结束时间(时间戳)。然而，强标注音频数据，往往是通过人耳聆听与手工标注完成，需要人在聆听过程中时刻保持高度注意力，并利用专业软件记录，是一项非常耗时、耗力的任务，尤其是当一段音频中混合着多种类别且时间重叠的声事件时，强标注任务的时间、人力成本则会成倍增长。而弱标注，这种方式只标注一段音频中有无感兴趣事件发生，以舍弃部分时间信息为代价，降低音频数据集标注的人力成本，相应地，使用弱标注数据集训练获得的模型，无法预测声音事件的时间信息，且识别率也不高。常用的弱标注数据集有：1.Detection and Classification ofAcoustic Scenes and Events(DCASE2017)声事件检测数据集-优点在于标注精确，但该数据集样本类型与数量较少，使用该数据集训练得到的模型识别范围较窄，模型普适性差；2.Google Audio-set弱标注数据集-优点在于样本类型与数量较多，但受成本限制，其标注精度较低，因此，基于该数据集训练得到的模型，虽然识别范围较广，但是识别准确率不如前者。

发明内容

本发明的目的是针对现有技术的不足，而提供一种采用双Token标签的声事件标注及识别方法。这种方法能在保证准确率的同时，以较小的代价拓宽声事件识别范围，可实现人们生活环境中准确的声音事件检测与监控，从而更好地服务智慧城市建设。

实现本发明目的的技术方案是：

一种采用双Token标签的声事件标注及识别方法，包括声事件标注过程和识别过程，所述声事件标注过程：