[发明专利]一种基于跨域迁移学习的小样本声音识别方法及系统

说明书

本发明公开了一种基于跨域迁移学习的小样本声音识别方法及系统，方法包括采集原始的声音信号；对采集的原始声音信号进行梅尔时频变换得到声音信号的梅尔语谱图；利用大量没有标注的梅尔语谱图和大量有标注的自然图像预训练神经网络模型，跨域地将模型针对自然图像的特征提取能力迁移到梅尔语谱图上；用一部分有标注的梅尔语谱图的时频多空间特征来进一步地训练第二步预训练得到的神经网络模型，建立声音识别模型；模型的跨域双阶段预训练使得模型逐渐适应声音数据的语谱图，提高鲁棒性和特征提取能力，增强泛化性以及判别能力；基于时频多空间特征提取的声音识别模型包括深度卷积网络和循环神经网络两部分，能提升识别的精确性和模型的稳定性。

技术领域

本发明属于声音信号处理领域，具体涉及一种基于跨域迁移学习的小样本声音识别方法及系统。

背景技术

精确的声音信号识别在军事和民事方面都有着重要的应用价值，在军事方面，声音信号目标识别是实现装备与武器系统智能化的关键技术，除了军事场景外，声音信号的目标识在海上交通管理、捕鱼和保护海洋环境等民事问题中也起着很重要的作用。现有的音频识别方法大都依赖大量的有标注数据，在一些声音数据获取困难(如船舶的水面噪声等等)的小样本场景中，现有方法的精确度和稳定性都会大大退化，设计高精度的小样本音频识别算法有着很强的挑战性和现实意义。现有的方法主要分为传统的特征提取与分类算法以及利用深度网络进行特征提取与分类的方法，下面分别介绍这两种声音信号识别的方法。

1、传统的声音信号特征提取与识别方法

传统的声音信号识别方法主要分为特征提取和特征分类两个阶段。在特征提取阶段，针对原始的声音信号数据提取各类手工设计的特征；在特征分类阶段，利用一些统计分类模型针对特征提取阶段提取出的特征进行识别分类。

在特征提取阶段，有多种手工设计的统计特征。例如，在文献Zak A.Shipsclassification basing on acoustic signatures.WSEAS Trans Signal Process 2008；4(4):137–49中，特征提取是直接使用离散傅里叶变换(DFT)的，而在文献Zak A.Ship’shydroacoustics signatures classification using neural networks.In:MwasiagiJI,editor.Self Organizing Maps–applications and novel algorithmsdesign.INTECH；2011.p.209–32和Wang S,Zeng X.Robust underwater noise targetsclassification using auditory inspired time–frequency analysis.Appl Acoust2014；78:68–76中，特征提取则分别使用梅尔-频率倒谱系数(MFCCs)和Hilbert-Huang变换。

离散傅里叶变换通过把信号从时间域变换到频率域，进而提取信号的频谱特征。设时间域的数据为f_n,n＝0,2,…,N-1，则经过离散傅里叶变换得到频域特征F_m,m＝0,…,N-1。变换公式为：

其中i为虚数单位。

梅尔-频率倒谱系数是构成梅尔倒谱的系数，其提取过程如下：

1)先对声音信号进行预加重、分帧和加窗；

2)对每一个短时窗，通过快速傅里叶变换(FFT)得到对应的频谱；

3)将得到的频谱通过梅尔滤波器组得到梅尔频谱；

4)在梅尔频谱上面进行倒谱分析(取对数，做逆变换)，获得Mel频率倒谱系数MFCC。