[发明专利]一种语音质检方法、装置和设备

权利要求书

1.一种语音质检方法，其特征在于，包括：

获取待检测语音数据；所述待检测语音数据包括用户输入的具有方言特征的语音样本集合和待检测语音信号集合；

对所述语音样本集合进行数据预处理，确定处理后的语音样本集合的多模态特征；所述多模态特征包括：输入特征向量、嵌入embedding输出特征以及预设特征集；所述embedding输出特征是通过方言embedding模型编码确定的，用于指示所述语音样本集合中的每一种方言；

根据所述多模态特征，确定语音情绪识别模型；

对所述待检测语音信号集合输入至所述语音情绪识别模型，确定所述用户的情绪状态。

2.根据权利要求1所述的方法，其特征在于，对所述待检测语音信号集合输入至所述语音情绪识别模型，确定所述用户的情绪状态，包括：

根据预设embedding算法和所述输入特征向量，确定所述语音样本集合中的第一目标方言的embedding输出特征；所述第一目标方言为所述语音样本集合中的一种方言；

根据所述待检测语音信号集合和所述第一目标方言的embedding输出特征，确定所述待检测语音信号集合的方言种类；

根据所述方言种类和所述语音情绪识别模型，确定所述待检测语音信号集合中的第二目标方言的情绪概率向量；其中，所述语音情绪识别模型包括混合方言情绪型和普通话情绪模型；所述第二目标方言为所述待检测语音信号集合中的一种方言；

根据所述第二目标方言的情绪概率向量，确定所述待检测语音信号集合的情绪结果。

3.根据权利要求2所述的方法，其特征在于，根据所述方言种类和所述语音情绪识别模型，确定所述待检测语音信号集合中的第二目标方言的情绪概率向量，包括：

根据公式：确定所述待检测语音信号集合中的第二目标方言的情绪概率向量；

其中，P为第二目标方言的情绪概率向量；P_i为混合方言情绪模型所得到的各个情绪的概率向量；P₀为普通话情绪模型所得到的各个情绪的概率向量；L₀为所述语音样本集合的普通话质心距离；L_i为所述语音样本集合的方言质心距离。

4.根据权利要求2所述的方法，其特征在于，根据所述待检测语音信号集合和所述第一目标方言的embedding输出特征，确定所述待检测语音信号集合的方言种类，包括：

根据所述第一目标方言的embedding输出特征，确定第一目标方言的第一质心向量以及第一目标方言的判别阈值；

根据所述待检测语音信号集合和所述预设embedding算法，确定所述待检测语音信号集合中第二目标方言的第二质心向量；

若所述第二质心向量与对应的所述第一质心向量的距离小于所述判别阈值，则确定所述待检测语音信号集合为混合方言种类；否则，确定所述待检测语音信号集合为普通话种类。

5.根据权利要求2所述的方法，其特征在于，所述根据预设embedding算法和所述输入特征向量，确定所述语音样本集合中的第一目标方言的embedding输出特征，包括：

根据所述方言embedding模型和所述预设embedding算法，确定编译后的编码特征向量；

将所述编译后的编码特征向量和所述输入特征向量作特征拼接，确定所述语音样本集合中的第一目标方言的embedding输出特征。

6.根据权利要求1所述的方法，其特征在于，构建并训练所述方言embedding模型，包括：

构建所述方言embedding模型；所述方言embedding模型的输入值为所述输入特征向量，所述方言embedding模型的输出值为所述语音样本集合所属方言对应的独热编码；

将triplet loss函数作为损失函数，并根据所述语音样本集合，训练所述方言embedding模型。