[发明专利]一种基于跨域迁移学习的小样本声音识别方法及系统

权利要求书

1.一种基于跨域迁移学习的小样本声音识别方法，其特征在于，包括以下步骤：

对采集的原始声音信号进行梅尔时频变换得到声音信号的梅尔语谱图，将所述梅尔语谱图输入所建立的声音识别模型，基于声音识别模型提取出梅尔语谱图的时频域、时域和频域的特征，对所述语谱图时频域、时域和频域的特征进行拼接送入一个全连接层得到最后的声音信号识别结果；

所述声音识别模型训练包括以下步骤：

采集原始的声音信号，并对其中一部分数据进行标注；对采集的原始声音信号进行梅尔时频变换得到声音信号的梅尔语谱图，同时收集大量有标注的自然图像数据；

利用所采集没有标注的梅尔语谱图和有标注的自然图像预训练深度神经网络，基于迁移学习和对比学习算法实现跨域地将模型针对自然图像的特征提取能力迁移到梅尔语谱图上，得到预训练后的深度神经网络；

基于时频多空间特征提取的声音识别模型提取出有标注的梅尔语谱图的时频多空间特征来进一步地训练预训练得到的深度神经网络，得到最终的声音识别模型；所述声音识别模型包括深度卷积网络和循环神经网络。

2.根据权利要求1所述的基于跨域迁移学习的小样本声音识别方法，其特征在于，所述梅尔语谱图的提取包括以下步骤：

对原始声音信号进行分帧、加窗，并对每个窗口做傅里叶变换，得到每个窗口的频率域特征，把频率域特征按照窗口的时间顺序进行堆叠得到一个二维时频信号；

利用梅尔滤波器组对所述二维时频信号进行滤波，得到梅尔语谱图。

3.根据权利要求1所述的基于跨域迁移学习的小样本声音识别方法，其特征在于，所述自然图像数据选用公开的自然图像数据库。

4.根据权利要求1所述的基于跨域迁移学习的小样本声音识别方法，其特征在于，基于双阶段预训练方法实现模型的跨域适应，双阶段预训练包括以下步骤：

利用有标注自然图像数据集有监督地预训练深度神经网络；

利用无标注声音信号的语谱图使用自监督的对比学习算法进一步预训练深度神经网络。

5.根据权利要求4所述的基于跨域迁移学习的小样本声音识别方法，其特征在于，利用无标注声音信号的语谱图使用自监督的对比学习算法进一步预训练深度神经网络时，将对比学习算法与声音信号进行结合，对每一个输入数据进行两次随机扰动，得到两个随机扰动数据，然后经过深度卷积神经网络分别提取两个数随机扰动据的特征进行对比学习的训练。

6.根据权利要求5所述的基于跨域迁移学习的小样本声音识别方法，其特征在于，数据增强具体为：对所述输入数据依次进行增加噪音、改变音调、时间拉伸和时移。

7.根据权利要求1所述的基于跨域迁移学习的小样本声音识别方法，其特征在于，对于双阶段预训练得到的深度神经网络，使用基于时频多空间特征提取进一步训练深度神经网络得到声音识别模型，其数学表达如下：

其中I为有标注声音信号的梅尔语谱图，f₁(θ)为深度卷积网络，用于提取声音语谱图的时频空间特征z₁，f₂(θ)和f₃(θ)为循环神经网络，分别用于提取语谱图的时间空间特征z₂和频率空间特征z₃，为向量的拼接操作，f₄(θ)为全连接网络，用于生成最后的分类结果P，I为声音信号的语谱图，P＝{p₁,p₂,…,p_n}为一维向量，其中p_i为该音频属于第i类的概率值；f₁(θ)采用用于图像特征提取的ResNet或DenseNet，f₂(θ)和f₃(θ)采用循环神经网络结构，LSTM或GRU，θ为深度网络的参数。