[发明专利]一种融合人群信息的语音情感识别方法和系统

说明书

本发明属于人工智能领域，具体涉及一种融合人群信息的语音情感识别方法和系统，该方法包括以下步骤：S1、采集用户语音信号；S2、预处理语音信号，获取梅尔谱；S3、切除梅尔谱前后静音段；S4、通过人群分类网络获取深度人群信息；S5、通过梅尔谱预处理网络获取梅尔谱深度信息；S6、通过SENet融合特征，获取融合信息；S7、通过分类网络，得到情感识别结构。本发明融合人群信息特征，使情感特征提取更加准确，通过SENet的通道注意力机制进行信息融合，能够有效的进行深度特征的提取，提高整体识别精度。

技术领域

本发明属于人工智能领域，具体涉及一种融合人群信息的语音情感识别方法和系统。

背景技术

语言交互是人类最早的交流方式之一，因此语音成为了人类表达情感的主要方式。随着人机交互的兴起，智能的进行语音情感分析也越发重要起来。目前情感主要的分类方式是上世纪Ekman提出的7种情感，分别为：中性、开心、悲伤、生气、害怕、厌恶、惊讶。

当前主流的语音情感识别方法是基于传统算法或者基于简单神经网络架构的深度学习方法。基于传统方法的基本流程为：对语音进行特征提取、通过特征对语音进行情感分类。其中语音特征通常有梅尔频率倒谱系数、梅尔频谱、过零率、基频等。基于深度学习的方法基本流程与传统方法一样，只是传统方法分类器用的是SVM等传统算法，深度学习用的是神经网络分类器。目前深度学习方法使用的特征有梅尔频率倒谱系数和梅尔频谱，网络通常只是简单的几层RNN或者几层CNN作为分类器。

在目前的技术中，因为只考虑了语音的浅层信息，使用了简单的网络结构，所以情感识别识别率都比较低，泛化性也比较差。

发明内容

为了解决现有技术中存在的上述技术问题，本发明提供了基于SENet融合人群信息和梅尔谱特征信息，有效提高语音情感识别准确率的方法和系统，其具体技术方案如下：

一种融合人群信息的语音情感识别方法，包括如下步骤：

S1：通过录音采集设备，采集用户音频信号，表示为；

S2：对采集的音频信号，进行预处理，生成梅尔谱图信号，表示为

S3：对生成的梅尔谱图信号，计算不同时间帧梅尔谱图的能量大小，通过设置阈值，切除前后静音段，得到长度为T的梅尔谱图信号，表示为；

S4：将S3得到的输入人群分类网络，得到人群深度特征信息；

S5：将S3得到的输入梅尔谱预处理网络，得到梅尔谱深度特征信息；

S6：将S4提取的人群深度特征信息和S5提取的梅尔谱深度特征信息通过通道注意力网络SENet进行融合，得到融合特征；

S7：将S6融合后的特征，通过池化层后，输入人群分类网络进行情感识别。

进一步的，所述人群分类网络由三层LSTM网络结构构成，所述步骤S4具体包括如下步骤：

S4_1：首先将输入的长度为T的梅尔谱图信号，有重叠的切分成三段等长度的梅尔谱片段，切分方法为0到切分成第一段，到切分成第二段，到T切分成第三段；

S4_2：将S4_1切分好的三个梅尔谱片段，依次输入到三层LSTM网络中，并取LSTM网络输出的最后一个输出作为最终状态，三个梅尔谱片段最终获得3个隐含特征，最后将3个隐含特征进行取平均，得到最终的人群深度特征信息。

进一步的，所述步骤S5的梅尔谱预处理网络由ResNet网络级联FMS网络组成，所述步骤S5具体包括如下步骤：首先将长度为T的梅尔谱图信号扩充成三维矩阵；然后利用所述的ResNet网络结构采用2层卷积加最大池化的结构，提取梅尔谱图信息中与表示情感的相关的信息；再利用FMS网络架构对ResNet网络提取出的信息进行有效组合，最后得到梅尔谱深度特征信息。