[发明专利]基于多粒度动静态融合特征的语音情感识别方法、装置、系统及存储介质

权利要求书

1.一种基于多粒度动静态融合特征的语音情感识别方法，其特征在于，包括如下步骤：

第一步，帧计算步骤：以帧为单位计算出每一帧的韵律学特征、谱相关特征及声音质量特征；

第二步，段粒度特征的提取步骤：通过统计计算得到整句语料的大粒度静态全局特征，同时利用高斯窗对在时序上相邻的帧特征进行卷积，得到多粒度时变动态特征，使得多粒度时变动态特征既能刻画说话人的总体语音特征，又能描述语音情感特征随时间的变化。

2.根据权利要求1所述的语音情感识别方法，其特征在于，在所述第一步，帧计算步骤中，包括如下步骤：

第1步，语音分帧步骤：以汉明窗作为窗函数，按照设置的帧长和帧移，对连续的待识别语音片段进行分帧，作为特征提取中的最小处理粒度；

第2步，帧粒度特征的提取步骤：对语音分帧步骤中划分的每一个帧，提取设定维数的声学特征，对于每个包含T个帧的时序信号便可以得到帧特征矩阵；

在所述第二步，段粒度特征的提取步骤中，对于得到的的帧特征矩阵，利用预先依据人脑听觉机理设定好的段长，和相应的卷积函数组G(M,T)进行卷积，其中M为卷积函数组中卷积函数的个数，并由下式计算得出最后的段特征矩阵S_M×T，S_(m,t)＝G_(m,t)*(x_t-L+1,x_t-L+2,…,x_t)^T，G_(m,t)为卷积函数组G(M,T)中第m个高斯函数，(x_t-L+1,x_t-L+2,…,x_t)^T为段长为L的卷积窗内所覆盖的以x_t为结尾的帧特征矩阵。

3.根据权利要求2所述的语音情感识别方法，其特征在于，在第1步，语音分帧步骤中，以汉明窗作为窗函数，设定帧长为25ms，帧移为10ms，对连续的待识别语音片段进行分帧，作为特征提取中的最小处理粒度；

在第2步，帧粒度特征的提取步骤中，对语音分帧步骤中划分的每一个帧，提取65维声学特征，65维声学特征包括：平滑的基频、维度1，浊音概率、维度1，过零率、维度1，MFCC、维度14，均方能量、维度1，声谱滤波、维度28，频谱能量、维度15，局部频率抖动、维度1，帧间频率抖动、维度1，局部振幅微扰、维度1，谐噪比、维度1；用x_t＝(a_(t,1),a_(t,2),…,a_(t,65))来表示第t个帧特征矢量，其中65为帧特征矢量的维数，于是对于每个包含T个帧的时序信号便可以得到帧特征矩阵

4.根据权利要求3所述的语音情感识别方法，其特征在于，在所述第二步，段粒度特征的提取步骤中，对于得到的每个大小为65×T的帧特征矩阵，利用预先依据人脑听觉机理设定好的段长L＝300ms，和相应的卷积函数组G(M,T)进行卷积，其中M为卷积函数组中卷积函数的个数，并由下式计算得出最后的段特征矩阵S_M×T，S_(m,t)＝G_(m,t)*(x_t-L+1,x_t-L+2,…,x_t)^T，G_(m,t)为卷积函数组G(M,T)中第m个高斯函数，可按下式进行计算，其中T_D为相邻两个卷积窗之间的时延。

5.一种基于多粒度动静态融合特征的语音情感识别装置，其特征在于，包括：

帧计算模块：用于以帧为单位计算出每一帧的韵律学特征、谱相关特征及声音质量特征；

段粒度特征的提取模块：用于通过统计计算得到整句语料的大粒度静态全局特征，同时利用高斯窗对在时序上相邻的帧特征进行卷积，得到多粒度时变动态特征，使得多粒度时变动态特征既能刻画说话人的总体语音特征，又能描述语音情感特征随时间的变化。