[发明专利]一种语音分析方法、系统、设备及存储介质

说明书

本申请提供了一种语音分析方法、系统、设备及存储介质，涉及数据处理技术领域。旨在融合语音中语音和文本的特点，综合预测话语语音所表达的情感。所述语音分析系统包括：语音识别模型、预先训练的中间层特征提取模型以及预先训练的情感分类模型。所述方法包括：通过所述语音识别模型对输入的语音进行识别，得到所述语音对应的文本信息；将所述文本信息输入所述中间层特征提取模型，得到融合所述文本信息和所述语音对应的音素概率向量的中间层特征；将所述中间层特征输入所述情感分类模型，得到所述语音的情感类型。

技术领域

本申请涉及数据处理技术领域，特别是涉及一种语音分析方法、系统、设备及存储介质。

背景技术

语言是人类沟通的工具，不管是书面的还是口头的语言，既传达语义又传达感情。在人机交互场景乃至人工智能应用领域，自动情感分类(判断)是一个重要课题。例如在自动智能客服系统中，如果能够判断在交互过程中用户的情感状态，就能更好地选择应答方案和措辞；再如自动质检分析系统中，企业需要监控坐席人员的应答服务质量，核心之一就是判断坐席人员的态度是否客气、相应的客户那边的情感状态是否有不适反应。所有这些应用需求都需要自动情感分类算法来满足。

现有技术下的自动情感分类算法只能根据相关人员陈述语句时的发音特点，或者根据相关人员话语中的文字内容单方面地进行情感分类。但实际上，单一的发音特点或者文字内容都不能够准确地表达出相关人员通过话语表达的情感。文字内容中，一个中性词语一般表达和平的情感，但如果以反讽的语气说出该中性词语，表达的就是愤怒感；一段急促的话语，也会因为所用词汇的不同，造成话语所表达的情感不同。因此，无论是单纯地通过语音进行情感分类，还是通过文本进行情感分类，都不能达到良好的效果。

发明内容

本申请实施例提供一种语音分析方法、系统、设备及存储介质，旨在融合话语中语音和文本的特点，综合预测话语所表达的情感。

本申请实施例第一方面提供一种语音分析方法，应用于语音分析系统，所述语音分析系统包括：语音识别模型、预先训练的中间层特征提取模型以及预先训练的情感分类模型，所述方法包括：

通过所述语音识别模型对输入的语音进行识别，得到所述语音对应的文本信息；

将所述文本信息输入所述中间层特征提取模型，得到融合所述文本信息和所述语音对应的音素概率向量的中间层特征；

将所述中间层特征输入所述情感分类模型，得到所述语音的情感类型。

可选地，所述中间层特征提取模型是通过以下步骤训练得到的：

将多个语音样本输入所述语音识别模型，得到对应的多个文本样本，并提取所述语音识别模型中的声学模型输出的多个音素概率向量样本，其中，对应同一语音样本的文本样本和音素概率向量样本组成一个第一样本对；

利用所述多个语音各自对应的第一样本对，对第一预设模型进行训练；

将经过多次训练后的第一预设模型确定为所述中间层特征提取模型。

可选地，所述中间层特征提取模型包括：编码层、中间层以及解码层；利用所述多个语音中任一语音对应的第一样本对，对第一预设模型进行训练，包括：

将所述任一语音对应的第一样本对中的文本样本输入所述编码层；

从所述编码层的预设词表中提取所述文本样本中每个字对应的文字向量，并输入所述中间层；

对所述文本样本中每个字进行音素预测，得到对应的音素向量，并对所述文本样本中每个字对应的文字向量和音素向量进行信息融合，得到中间层特征；

将所述中间层特征输入所述解码层，输出预测得到的所述文本样本的第一个字的第一预测音素概率向量；