[发明专利]一种基于混合熵下采样和集成分类器的语音情感识别系统

说明书

本发明公开了一种基于混合熵下采样和集成分类器的语音情感识别系统，该系统包括如下步骤：预处理阶段将训练数据的语音信号划分为片段后提取语谱图，用其训练基分类器并从中获得每个语音片段的深度特征和置信度；训练阶段，计算所有语音片段的混合熵并将其与置信度的加权和作为排名值；随后，排名值大于设定阈值的语音片段的语谱图用于重新训练一个基分类器，并再次计算全部语音片段的排名值和训练基分类器，此操作循环给定轮次，每轮次训练的基分类器组成集成分类器；最终，测试语音分段并提取语谱图后输入集成分类器计算该条语音的情感识别结果。本发明显著减少了情感不明确、分布结构不稳定语音片段的影响，有效地提高了语音情感识别的准确率。

技术领域

本发明涉及语音情感识别技术领域，具体地说，本发明涉及一种基于混合熵下采样和集成分类器的语音情感识别系统。

背景技术

语音是人与人之间最直接、最自然的交流方式，是人机交互的主要形式。然而，真实的生活中的言语情感往往是复杂的、微妙的，处于不断变化的状态。因此，检测和识别语音中的情感已经成为一项具有挑战性的任务。近年来，语音情感识别取得了很多研究进展，在虚拟客服、智能助理、医疗辅助诊断等诸多领域有着广泛的应用。语音情感识别系统通常包括特征提取和分类器的训练两个部分，传统的方法是对原始语音波形进行分段后再进行人工特征提取，语音情感识别中常用的分类器包括高斯混合分类器、支持向量机等。近年来，随着深度学习的发展，出现了许多基于深度学习分类器的方法，如递归神经网络分类器和卷积神经网络分类器。

以往研究发现，每种情感的置信度随语音中语音各片段所处位置的不同而不同。例如，一条语音的真实情感标签是快乐，但是训练的分类器结果显示，中立情感的置信度在语音的前半部分最高，而快乐的置信度在后半部分最高。显然，前半部分的快乐情绪强度较弱，不利于分类器训练。情感不明确的语音片段会将噪声引入分类器训练过程，并降低语音情感识别系统的性能。因此，在语音片段级别的语音情感识别中仍存在挑战。虽然已有一些针对此问题的方法，如注意机制和多示例学习，但这些方法通过深度学习分类器自主学习如何对语音中的不同部分进行加权，这在理论上很难分析和解释。

发明内容

本项发明提出了一种基于混合熵下采样和集成分类器的语音情感识别系统，在每个轮次的训练时从所有训练数据的语音片段中选择具有明确情感的语音片段进行下一轮次的训练，即对所有训练数据的语音片段进行下采样，每个轮次都会产生一个基分类器，这些基分类器组成一个集成分类器。在每一轮次的训练过程中，计算语音片段的混合熵和置信度并以此计算排名值来选择情感类别明确的样本。集成分类器利用多次迭代训练的基分类器进行整条语音的情感预测，有效提高了语音情感识别的准确率。

本项目中基于混合熵下采样和集成分类器的语音情感识别系统包括如下步骤：

1)把数据集划分为训练数据和测试数据两部分，将训练数据的语音信号划分为片段后提取语谱图，用其训练基分类器并从中获得每个语音片段的深度特征和置信度；

2)计算所有语音片段的混合熵并将其与置信度的加权和作为排名值；

3)排名值大于设定阈值的语音片段的语谱图用于重新训练一个基分类器，并再次计算全部语音片段的排名值和训练基分类器，此操作循环给定轮次，每轮次训练的基分类器组成集成分类器；

4)测试语音分段并提取语谱图后输入集成分类器计算该条语音的情感识别结果。

本发明所采用的技术方案可以进一步细化，每个语音片段的标签为数据集中其所在整条语音的真实标签，步骤2)中语音片段的混合熵由情感确定度熵和结构分布熵组成，其中情感确定度熵用于衡量语音片段表达情感的显著程度，情感确定度熵的公式为：

其中，i为训练数据上语音片段的编号，C为数据集中情感类别数，k为所设定的近邻数，为第i个语音片段的基础确定度熵；

结构分布熵用于衡量语音片段在深度特征空间中的分布结构稳定性，结构分布熵的公式为：