[发明专利]一种基于共性特征提取的跨语种语音情感识别方法和系统

说明书

本发明属于人工智能领域，涉及一种基于共性特征提取的跨语种语音情感识别方法和系统，该系统包括：语音信号采集模块，采用高保真单麦克风或者麦克风阵列采集用户语音信号；语音信号预处理模块，用于将采集到的语音信号进行预处理，对语音进行端点检测，去除语音前后静音段，生成可用于神经网络处理的数据；跨语种语音情感识别模块，用于通过设计的复数网络模型处理声谱图特征，预测用户音频的情感类型；分析存储模块，用于存储用户的语音数据和情感标签数据，并根据实际业务进行统计分析。本发明能够有效解决跨语种的语音情感识别问题，解决音频中的相位特征处理问题，从而提取音频中更加精细的发音特征，提升语音情感识别精度。

技术领域

本发明属于人工智能领域，涉及一种基于共性特征提取的跨语种语音情感识别方法和系统。

背景技术

语音是人类在日常交流中表达情感的主要方式。随着人工智能技术的发展，人机交互等应用得到了快速发展，能够进行类人交互，即基于情感智能的人机交互成为一种迫切需求，语音情感识别是实现这种情感交互的关键技术支撑。

当前关于语音情感识别的技术有基于人工特征的传统语音情感识别方法和基于人工神经网络的端到端语音情感识别方法。传统方法往往需要大量的专家知识，根据特定的发音特征等，进行识别特征的设计和模型构建，代价往往比较大。基于人工神经网络的方法一般只需要设计好网络模型，然后利用大量的标注数据，就可以让模型自主学习，实现语音的情感识别。目前，基于神经网络的方法在语音情感识别的效果上，比传统方法表现更好。

使用端到端神经网络技术实现语音情感识别需要大量的标注数据去训练模型，但是对于语音情感标注，标注员只有懂得相关的语种才能够进行标注，而且标注训练模型所需的数据需要耗费大量时间。这就使得语音情感识别只能在某些具有大量标注数据的语种上进行，而对于没有标注数据的语种，就难以实现语音的情感识别。

发明内容

为了解决现有技术中存在的上述跨语种语音情感识别问题，本发明提出了一种基于共性特征提取的跨语种语音情感识别方法和系统，能够有效解决跨语种的语音情感识别问题，并通过复数网络，解决音频中的相位特征处理问题，从而提取音频中更加精细的发音特征，从而提升语音情感识别精度，其具体技术方案如下：

一种基于共性特征提取的跨语种语音情感识别方法，包括如下步骤：

步骤一、采集含标注信息的英文情感语音数据和不含标注信息的其他语种情感语音数据；

步骤二、对情感语音数据进行预处理，生成含相位的声谱图；

步骤三、去除声谱图前后静音段，后输入至网络得到语音深度特征信息，计算得到语音深度特征最大均值误差；

步骤四、将语音深度特征信息输入至分类网络计算得到带标签数据输出的分类概率，结合向量化标签数据得到的标签表征，计算含标注信息的英文情感语音数据分类误差；

步骤五、根据语音深度特征最大均值误差和含标注信息的英文情感语音数据分类误差，训练得到跨语言情感语音分类模型；

步骤六、输入待预测音频处理后的声谱图至训练好的跨语言情感语音分类模型，预测出语音情感。

进一步的，所述步骤一，具体包括以下步骤：

S1、通过网络搜索开源数据集，下载带情感标注的英文语音数据，英文语音数据表示为，标签数据表示为；

S2、通过网络搜索或者主动录音采集，下载不含情感标注的非英文语种语音数据，表示为。

进一步的，所述步骤二，具体为：

S3、对S1和S2采集的语音数据和，通过短时傅里叶变换，生成带相位信息的声谱图信息即梅尔谱图信号，分别对应表示为、。

进一步的，所述步骤三，具体包括以下步骤：