[发明专利]一种基于多实例学习的弱监督声音事件检测方法

权利要求书

1.一种基于多实例学习的弱监督声音事件检测方法，其特征在于，包括如下步骤：

步骤一，划分数据集，将数据集划分为训练集D_train，测试集D_test，验证集D_verify，训练集只给出弱标注信息，测试集与验证集给出强标注信息；其中弱标注指对单个音频只给出其中包含的声音事件，强标注在弱标注的基础上还包括每个声音事件的开始和结束时间；

步骤二，从训练集D_train中取出一个训练批次X_i，先计算所述训练批次的声学特征，然后将声学特征按帧送入帧级分类器，并应用softmax得到帧级预测，其中X_i表示第i个音频段；

步骤三，通过一个聚合函数将得到的帧级预测聚合为包级预测，由包级预测与弱标注计算全局损失，并根据弱标注将帧级预测拆分为无效预测和有效预测，然后计算帧级损失，最终的优化目标为全局损失与帧级损失的加权和，通过反向传播更新网络参数；

步骤四，重复进行步骤二至三，训练整体的网络模型，得到训练好的帧级分类器，使用训练后的帧级分类器在测试集D_test和验证集D_verify上计算预测概率，然后在验证集D_verify上找到最佳的阈值，用来对测试集D_test样本进行分类。

2.如权利要求1所述的一种基于多实例学习的弱监督声音事件检测方法，其特征在于：步骤一的具体实现方式如下；

训练集由L个时长为10s的音频段组成，对每个音频段X_i都给出一个Multi-Hot标签Z_i∈{0，1}^N，Z_i即为音频弱标注，其中N表示事件的个数，Z_i[n]＝1，n∈{1，N}表示X_i上存在第n个声音事件，Z_i[n]＝0表示X_i上不存在第n个声音事件；训练时，将每个音频段X_i看做由一组帧组成的包，其中M表示单个音频段中帧的个数，x_im表示第i个音频段X_i的第m帧。

3.如权利要求1所述的一种基于多实例学习的弱监督声音事件检测方法，其特征在于：步骤二的具体实现方式如下；

首先提取训练样本的声学特征，使用帧长1024，帧移400，1024点傅里叶变换和128个梅尔滤波器来提取每个音频X_i的梅尔谱图做为声学特征，然后将每一帧声学特征送入帧级分类器得到帧级预测：

y_im＝f(x_im)

y_im表示第i个音频段的第m帧在N个事件上的预测概率，其中M表示单个音频段中帧的个数，x_im表示第i个音频段X_i的第m帧；帧级分类器T由一个帧级特征提取器f_θ(·)和一个分类层f_c(·)组成；f_θ(·)由3个卷积神经网络块和一个双向循环神经网络GRU构成，每个卷积神经网络块分别包括：32、64、128个5×5维卷积核，ReLU激活函数，2×2最大池化层，GRU包含100个隐藏单元；f_c(·)就是一个简单的全连接层。