[发明专利]一种基于transformer模型编码器的语音情感特征提取方法

说明书

本发明公开一种基于transformer模型编码器的语音情感特征提取方法，适用于人工智能和语音情感识别领域。首先利用sincnet滤波器从原始语音波形中提取低级语音情感特征，然后利用多层transformer模型编码器对低级语音情感特征进一步学习；其中改进后的transformer模型编码器为常规transformer模型编码器前添加一层sincnet滤波器，即一组具有带通滤波器的参数化sinc函数，利用sincnet滤波器完成语音原始波形信号的低级特征提取工作，并使网络更好的捕捉重要的窄带情感特征，从而获得更深层次包含全局上下文信息的帧级情感特征。

技术领域

本发明涉及一种语音情感特征提取方法，尤其适用于人工智能和语音情感识别领域使用的一种基于transformer模型编码器的语音情感特征提取方法。

背景技术

随着科技的进步，人机交互已经成为一个重要的研究领域。语音情感识别技术可以使机器更加人性化。目前，语音情感识别已研究了数十余年，其本质为计算机对人类情感感知和理解过程的模拟，任务就是从预处理后的语音信号中提取有效的情感声学特征，并找出这些声学特征与人类情感的映射关系。

在语音情感识别的研究中，如何从语音信号中提取出最具情感信息的特征仍是一大难题与热点。已有技术中使用较多的特征主要是语音的韵律学信息、音质信息和频谱信息。韵律信息主要包括音高，语速和能量以及停顿；频谱信息目前用的最广泛的是Mel频率倒谱系数(MFCC)、线性预测系数(LPC)。由于很多情感的韵律特征具有相同的特性，因此单独使用感知特征(低级描述符和它们的统计值)不能保证系统获得良好的性能。在语音情感识别中，应该强调其情感信息，消减语音、说话人、性别等无关信息，因而迫切需要一种能够更加适合于语音情感识别的特征提取方式，如何从语音信号中提取出更加适合于语音情感识别的特征成为了提高识别率的最关键问题。

近十年来在模式识别领域兴起的一种模仿人类大脑学习的技术——深度学习，从早期的人工神经网络发展而来，已经成功应用于语音情感识别，并表现了良好的性能。直接利用深度网络提取语音信号中的情感特征也成为了一种热点。但是目前仍以RNN、DNN等神经网络提取学习特征的系统较多，但是由于易存在长距离梯度消失以及长序列到定长向量的信息损失问题，因此传统的神经网络对于语音情感的全局信息尚未能很好的提取，存在很大的局限性，而这个性质在语音情感特征方面是相当重要的。

发明内容

针对上述技术的不足之处，提供一种针对语音情感识别中全局特征的提取方法，直接在原始语音波形中捕捉低级语音情感特征，对transformer模型编码器进行改进，在该模型前添加了一层sincnet滤波器，以选取出更具有情感信息的特征，能够对语音情感的全局信息进行提取的基于transformer模型编码器的语音情感特征提取方法。

为实现上述技术目的，本发明的基于transformer模型编码器的语音情感特征提取方法，首先利用sincnet滤波器从原始语音波形中提取低级语音情感特征，然后利用多层transformer模型编码器对低级语音情感特征进一步学习；其中改进后的transformer模型编码器为常规transformer模型编码器前添加一层sincnet滤波器，即一组具有带通滤波器的参数化sinc函数，利用sincnet滤波器完成语音原始波形信号的低级特征提取工作，并使网络更好的捕捉重要的窄带情感特征，如音调和共振峰。

具体步骤如下：

S1：将输入的语音数据预处理后转换为原始语音波形；

S2：在常规transformer模型编码器的前添加一层sincnet滤波器，构建出一个可融合全局上下文信息特征的改进transformer模型编码器；

S3：将原始语音波形与sincnet进行卷积计算，捕捉出语音信号中包含的低级情感信息特征h[n]；如重要的窄带情感特征，音调和共振峰；