[发明专利]一种语音质检方法、装置和设备

说明书

本申请提供了一种语音质检方法和装置，涉及语音识别技术领域。所述方法包括：获取待检测语音数据；所述待检测语音数据包括用户输入的具有方言特征的语音样本集合和待检测语音信号集合；对语音样本集合进行数据预处理，确定处理后的语音样本集合的多模态特征；根据多模态特征，确定语音情绪识别模型；对待检测语音信号集合输入至语音情绪识别模型，确定用户的情绪状态。本申请的技术方案相比现有的语音情绪识别方案相比具有可以对多个方言情绪进行识别，同时对带有方言特点的地方普通话也须有较好效果等优点。

技术领域

本申请涉及语音识别技术领域，特别涉及一种语音质检方法、装置和设备。

背景技术

目前电话客服已成为办理各类行业服务中不可或缺的一部分，很多传统行业的服务都由柜台办理转向了电话客服办理。在电话客服中，人工客服以沟通直接方便，办理速度快，办理业务客户学习成本低等优势在电话服务中占有很大的比例；同时人工电话客服过程中也出现了很多问题，比如电话客服的服务质量，服务态度不佳等问题，这里也存在电话客户存在语言过激等问题，对电话客服对话记性语音质检成为了电话客服中的重要环节。

当前语音质检的方式主要为如下几种：1)较为传统的人工方式：通过人工筛查的方式，从所有的语音客服录音中随机抽取一定的样本，进行人工检测，找到其中存在服务问题的语音；2)通过文本内容抽取的方式：通过对语音对话进行转写，之后在经过机器学习等方式进行文本抽取，通过抽取后的文本判断电话客服的服务质量；3)通过关键词匹配的方式记性检验。一般通过对语音对话进行转写，之后通过与事先构建好的敏感词字典记性匹配，出现超过既定数量的敏感词则判定为服务态度较差。目前，除了系统较老或者客服流量较小的行业中使用人工审查的方式进行语音客服质检外，绝大部分系统都采用了自动语音质检的方式。

现有技术中存在如下问题：1)同时需要语音识别结果，并且网络结构较为复杂；2)语音识别结果不是很准确时效果无法保障；3)无法处理方言或者带有较重口音的对话音频。

发明内容

本申请实施例提供一种语音质检方法、装置和设备，以解决现有技术无法处理方言或者带有较重口音的对话音频的问题。

为了解决上述技术问题，本申请采用如下技术方案：

本申请实施例提供一种语音质检方法，包括：

获取待检测语音数据；所述待检测语音数据包括用户输入的具有方言特征的语音样本集合和待检测语音信号集合；

对所述语音样本集合进行数据预处理，确定处理后的语音样本集合的多模态特征；所述多模态特征包括：输入特征向量、嵌入embedding输出特征以及预设特征集；所述embedding输出特征是通过方言embedding模型编码确定的，用于指示所述语音样本集合中的每一种方言；

根据所述多模态特征，确定语音情绪识别模型；

对所述待检测语音信号集合输入至所述语音情绪识别模型，确定所述用户的情绪状态。

可选的，对所述待检测语音信号集合输入至所述语音情绪识别模型，确定所述用户的情绪状态，包括：

根据预设embedding算法和所述输入特征向量，确定所述语音样本集合中的第一目标方言的embedding输出特征；所述第一目标方言为所述语音样本集合中的一种方言；

根据所述待检测语音信号集合和所述第一目标方言的embedding输出特征，确定所述待检测语音信号集合的方言种类；

根据所述方言种类和所述语音情绪识别模型，确定所述待检测语音信号集合中的第二目标方言的情绪概率向量；其中，所述语音情绪识别模型包括混合方言情绪型和普通话情绪模型；所述第二目标方言为所述待检测语音信号集合中的一种方言；

根据所述第二目标方言的情绪概率向量，确定所述待检测语音信号集合的情绪结果。