[发明专利]一种基于深度互信息最大化的半监督音频事件识别方法

说明书

本发明涉及一种基于深度互信息最大化的半监督音频事件识别方法，使用半监督神经网络模型作为骨干，设计了基于深度互信息最大化一致性正则约束和交叉熵分类约束，构建出半监督学习模型，设计互信息判别器对模型深度表征向量间的互信息进行估计，使模型通过全局互信息挖掘样本间的潜在联系，以加强全局表征间的一致性与非线性相关性，获得具备较强鲁棒性的半监督音频事件分类模型；使用梯度下降法优化神经网络模型参数，对音频事件样本进行分类。该方法具有具有误差小、鲁棒性强、精度高等优点，能够在标签数据不足的情况下实现对声音事件分类的要求，具有较高的应用价值。

技术领域：

本发明涉及一种音频事件识别方法，具体涉及一种基于深度互信息最大化的半监督音频事件识别方法。

背景技术：

音频信号携带了大量有关日常环境以及物理事件发生位置的信息。人类可以轻松感知所处的声音场景(繁忙的街道，办公室等)，并识别各个音频事件(汽车，脚步声等)。对音频事件的自动检测在现实生活中具有许多应用。对于传统的声音事件分类，较依赖于人工预处理特征，如人工选取MFCC的滤波器个数、音调质心特征能量等。这些传统方法在目前应用中缺乏效率与实用性。基于深度学习的声音事件分类方法利用神经网络进行自动特征提取与结果分类，但目前最先进的深度学习方法通常需要大量的标签数据才能获得较高的性能。特别是对于音频事件识别，数据集需要包含由音频源的不可预知性而产生的变化多样的音频数据，从而增加了的数据获取的难度，更重要的是数据标签成本随之升高。因此学者开始研究基于半监督学习的音频事件识别方法，此前研究的半监督学习算法主要研究一致性正则方法提升模型的鲁棒性，但目前的一致性正则方法通常构建基于模型输出分布的数值约束，来保证输出结果的一致，但是仅考虑输出的一致仍然存在随机性和片面性。

针对现有半监督学习的音频事件识别方法中存在的上述不足，本发明还考虑了模型中间层的输出表征的相关性，以此来构建更强壮的一致性正则约束，从而使模型获得更强的鲁棒性与泛化能力，本案由此而生。

发明内容：

为克服传统半监督音频事件识别方法中的一致性正则方法约束存在随机性和片面性的问题，无法指导模型挖掘最有效的内部表征。本发明提供一种基于深度互信息最大化的半监督音频事件识别方法，该方法通过利用模型内部的表征向量，以表征互信息最大化为目标对模型施加一致性约束，加强表征向量对相同类别数据间的非线性统计相关性，解决传统一致性正则化方法无法指导模型挖掘最有效的内部表征问题，提高建模的鲁棒性。

为了实现上述发明目的，本发明所采用的技术方案为：

一种基于深度互信息最大化的半监督音频事件识别方法，内容包括：

步骤1：构建样本数据集，样本数据集中包括无标签样本和有标签样本；

步骤2：构建半监督神经网络模型和互信息判别器模型，对输入的无标签样本进行数据增强，并将数据增强前及数据增强后的样本输入半监督神经网络模型中进行特征提取；有标签样本输出相应的分类概率分布，并计算其分类损失；无标签样本分别导出数据增强前的深度表征向量以及数据增强后的深度表征向量，将数据增强前的深度表征向量与数据增强后的深度表征向量进行矩阵式拼接，获得表征向量重组矩阵；将表征向量重组矩阵输入至互信息判别器模型进行计算，得到互信息损失，将互信息损失与分类损失结合得到半监督神经网络模型的总体损失目标函数；

步骤3：对半监督神经网络模型参数进行优化，并输出训练好的半监督神经网络模型；

步骤4：将待分类识别的音频样本进行预处理，然后输入训练好的半监督神经网络模型，最后输出对应的分类类别。

进一步，所述步骤1中样本数据集的构建内容如下：

步骤1.1：开始遍历所有音频样本；

步骤1.2：对音频样本进行STFT变换和对数Mel滤波，获得含不确定长度L的对数Mel频谱，并设置维度判断值；