[发明专利]基于多粒度标签融合的深度声学场景分类方法及系统

说明书

本发明公开一种基于多粒度标签融合的深度声学场景分类方法及系统，其中方法包括如下步骤：利用典型声学场景知识，构建基于知识的多层次粒度标签模块，为声音场景数据生成不同粒度的标签；采用隐层参数共享机制，实现基于深度多任务学习网络的分类模型，优化分类性能；针对不同粒度的分类判决模块，利用高可信度的细粒度标签和粗粒度子类标签进行融合判决，得到最终判决结果。采用本发明，通过利用多层次标签融合技术，采用多任务学习方法，可以提高样本本身细粒度分类任务的分类精度，进而可以提升声学场景分类系统的性能。

技术领域

本发明涉及声学场景分类技术领域，尤其涉及一种基于多粒度标签融合的深度声学场景分类方法及系统。

背景技术

声学场景中包含了丰富的声学信息，可以为事件判别、场景分析、目标定位提供信息支撑。声学场景分类，简单地说就是通过选择一个语意标签来描述音频流的声学环境。通过对声学环境的判断，声学场景分类技术可以实现场景建模，在机器人、语音通信、人机交互等领域中发挥重要作用。

目前有基于深度神经网络分类模型进行声学场景分类的方法。这类方法可以充分学习声场谱图中的信息，识别率较高，但由于不同声学场景中存在相同声学事件的概率较高，依赖单一分类标签难以达到实际应用所需要的准确度。

深度神经网络中的分类模型就是样本到样本标签的一个映射关系，通常只有一个细粒度类别标签信息，比如“广场”、“人行道”等等。然而声学场景本身具有多重类别属性，广场和人行道又可以统一到“室外”这个标签上，因此声学场景存在不同粒度的类别标签。声学场景分类需要同时考虑不同粒度的分类标签。

为了区分不同粒度的分类标签，可以采用多任务学习的方法来实现。多任务学习简单地说就是模型同时学习多个任务。其目标是利用多个学习任务中所包含的有用信息来帮助为每个任务学习得到更为准确的学习器，通过共享相关任务之间的表征，使得模型更好地概括原始任务。根据任务的性质，多任务学习又被划分为多任务监督学习、多任务无监督学习、多任务半监督学习、多任务主动学习、多任务强化学习、多任务在线学习和多任务多视角学习。而本发明是基于多任务监督学习的。

发明内容

本发明实施例提供一种基于多粒度标签融合的深度声学场景分类方法及系统，通过粗细两种粒度的分类学习与训练，可以提高样本本身细粒度分类任务的分类精度，进而可以提升声学场景分类系统的性能。

本发明实施例第一方面提供了一种基于多粒度标签融合的深度声学场景分类方法，可包括：

将声音场景数据的频谱图样本对应的原单标签划分为多种粒度类别标签，多粒度类别标签至少包括细粒度类别标签和粗粒度类别标签；

基于多任务卷积神经网络分别对第一训练数据和第二训练数据进行主任务部分训练和次任务部分训练，得到第一训练数据对应的第一分类结果和第二训练数据对应的第二分类结果，第一训练数据为训练频谱图样本及其对应的细粒度类别标签，第二训练数据为训练频谱图样本及其对应的粗粒度类别标签；

基于第一分类结果、预设粒度阈值和第二分类结果，确定样本的当前判别类别；

对当前判别类别进行二次判别，选取最大概率的类作为最终的样本判别输出类别。

进一步的，上述方法还包括：

对声音场景数据进行处理，得到对应的频谱图样本；

按照预设划分比例，将频谱图样本划分为训练样本、验证样本和测试样本。

进一步的，上述方法第一分类结果包括细粒度标识特征和细粒度输出概率向量，第二分类结果包括粗粒度标识特征和粗粒度输出概率向量。

进一步的，上述基于第一分类结果、预设粒度阈值和第二分类结果，确定样本的当前判别类别，包括：