[发明专利]基于互补特征学习框架的语音情感识别方法及装置

权利要求书

1.一种基于互补特征学习框架的语音情感识别方法，其特征在于，包括以下步骤：

构建互补特征学习框架，所述框架包括相互并行的第一独立特征学习通道、第二独立特征学习通道和融合特征学习通道，所述框架还包括注意力融合模块；

获取待识别语音的MFCC系数和手工制作特征；

将所述MFCC系数输入所述第一独立特征学习通道进行特征提取，得到特征F1；

将所述手工制作特征输入所述第二独立特征学习通道进行特征提取，得到特征F2；

将所述MFCC系数和所述手工制作特征同时输入所述融合特征学习通道进行特征提取，得到特征F3；

将所述特征F1、所述特征F2和所述特征F3输入所述注意力融合模块进行特征提取和细化，得到分类特征；

对所述分类特征进行分类，得到最终的情感识别与分类结果。

2.根据权利要求1所述的一种基于互补特征学习框架的语音情感识别方法，其特征在于，将所述MFCC系数输入所述第一独立特征学习通道进行特征提取，得到特征F1，包括：

将所述MFCC系数输入两层二维卷积层中进行特征提取，得到MFCC特征图，其中，每个卷积层后连接一个归一化层；

将所述MFCC特征图进行展平处理后，使用全连接层进行特征提取，使用softmax层输出，得到特征F1。

3.根据权利要求1所述的一种基于互补特征学习框架的语音情感识别方法，其特征在于，将所述手工制作特征输入第二独立特征学习通道进行特征提取，得到特征F2，包括：

将所述手工制作特征输入三层全连接层中进行特征提取，得到手工制作特征图，其中，每个全连接层后面连接一个归一化层；

将所述手工制作特征图使用softmax输出，得到特征F2。

4.根据权利要求1所述的一种基于互补特征学习框架的语音情感识别方法，其特征在于，将所述MFCC系数和所述手工制作特征同时输入所述融合特征学习通道进行特征提取，得到特征F3，包括：

对所述手工制作特征进行零填充后进行一维卷积处理，对所述MFCC系数进行一维卷积处理，将所述经过一维卷积处理后的手工制作特征和MFCC特征进行拼接得到特征G(x)；

对所述特征G(x)沿信道轴进行两层一维卷积，得到特征G1(x)；

将特征G(x)进行转置，沿空间轴进行两层一维卷积，得到特征G2(x)；

将所述特征G(x)、所述特征G1(x)和所述特征G2(x)进行拼接和展平处理；

使用全连接层对所述拼接和展平处理的结果进行特征提取，使用softmax层输出，得到特征F3。

5.根据权利要求1所述的一种基于互补特征学习框架的语音情感识别方法，其特征在于，将所述特征F1、所述特征F2和所述特征F3输入所述注意力融合模块进行特征提取和细化，得到分类特征，包括：

将所述特征F1、所述特征F2和所述特征F3拼接后展平，并进行逐点卷积得到聚合特征F(x)；

计算所述聚合特征F(x)的注意融合权值W(x)，将所述聚合特征F(x)和所述注意融合权值W(x)相乘，得到分类特征。

6.根据权利要求5所述的一种基于互补特征学习框架的语音情感识别方法，其特征在于，所述计算所述聚合特征F(x)的注意融合权值W(x)，包括：

对所述聚合特征F(x)进行全局平均池化处理和归一化处理，得到通道维度的描述子和符号维度描述子；

将所述通道维度描述子和所述符号维度描述子与F(x)相乘，进行全局平均池化处理，生成信道符号的注意融合权值；

重复前述步骤连续进行三次，得到最终的权值W(x)。

7.根据权利要求1所述的一种基于互补特征学习框架的语音情感识别方法，其特征在于，对所述分类特征进行分类，得到最终的情感识别与分类结果，包括：

使用SVM对所述分类特征进行分类，得到最终的情感识别与分类结果。